使用任务自动运行数据管道。 可以使用不同的时间间隔计划任务,从每 15 分钟到每月不等。 可以查看先前运行结果,包括数据管道运行返回的输出结果项目和消息。 此外,您可以选择在任务运行失败时接收电子邮件通知。
可通过以下方式管理数据管道任务:
- 使用计划任务页面来管理现有数据管道任务。
- 使用编辑器来管理当前正在编辑的数据管道任务。
创建任务
使用下述工作流之一创建任务。
在计划任务页面中创建任务
要在计划任务页面上为现有数据管道创建任务,请完成以下步骤:
在编辑器中创建任务
要在编辑器中为打开的数据管道创建任务,请完成以下步骤:
通知
Data Pipelines 支持在任务运行失败时向数据管道所有者发送电子邮件通知。
在创建或编辑计划任务时,使用启用故障电子邮件通知参数即可在数据管道任务运行失败时接收电子邮件。 您可以随时通过编辑任务并禁用此参数来取消接收电子邮件。 您可以在计划任务页面或编辑器中编辑任务。 要了解有关编辑任务的详细信息,请参阅下文的使用现有任务部分。
当任务运行返回 failed 状态时,系统会向该数据管道项目的所有者发送电子邮件。 failed 状态表示数据管道中的所有输出均未能成功创建或更新。
如果任务运行返回的状态不是 failed,您将不会收到电子邮件。 值得注意的是,对于返回 completedWithWarnings 状态的任务运行,您不会收到电子邮件;当至少有一个输出项目创建成功但其他输出失败时,会返回此状态。 此外,如果任务运行的作业提交失败,则任务将不会运行,您也不会收到电子邮件。
对于每个任务,您每六小时最多只能收到一封电子邮件。 但是,如果某个任务在六小时内连续失败五次,该任务将自动被设置为失败状态,且不再运行。 在这种情况下,您仅会收到关于第一次失败的电子邮件。
使用现有任务
可以通过计划任务页面查看所有数据管道任务的列表,该页面可通过数据管道库页面上的管理计划按钮进行访问。 在编辑器中,计划按钮将打开一个面板,其中显示了开放数据管道的任务。
计划任务页面和编辑器中的计划面板均包含任务相关信息,包括其标题、下次运行时间和任务状态。 下次运行时间值设置如下:
- 日期 - 下次运行计划开始的日期和时间。
- 已完成 - 任务的结束条件已满足,上次运行已完成。
- 失败 - 任务的结束条件已满足,上次运行失败。
- 已暂停 - 任务已暂停。
除了查看任务,还可以使用以下选项来管理任务:
- 暂停或恢复 - 暂停活动任务或恢复已暂停的任务。 在恢复之前,暂停任务不会在计划的日期和时间运行。
- 编辑 - 编辑任务设置的参数。 您可以编辑标题、计划和通知设置。
- 删除 - 删除任务。 删除的任务无法恢复。
- 重新启动 - 重新启动已完成的任务。
任务运行和运行详细信息
单击任务时,将显示任务运行历史记录。 单击单个运行以查看运行详细信息,包括输出项目和任何消息。 在运行完成之前,进行中的任务运行不会显示任何信息。 使用任务列表中的刷新按钮获取最新的状态。
注意事项
当创作将计划的数据管道时,请考虑以下几点:
- 配置输出时,建议不要使用如果项目已存在,则覆盖或如果图层已存在,则覆盖参数,因为存在以下限制:
- 对于要素图层输出,覆盖参数会更改方案、几何和记录,由此可能会导致诸如弹出窗口或过滤器等下游工作流中断。 建议使用替换和添加并更新选项来保持方案一致。
- 对于要素图层和文件项目输出类型,当写入期间发生了失败时,覆盖操作不会回滚,这可能会导致该项目丢失,直到数据管道成功运行。 对于 Parquet 要素图层(测试版)输出类型,失败时覆盖操作会回滚。 对于要素图层输出,替换和添加并更新选项支持回滚,且建议在计划时使用这些选项。
- 对于文件项目输出或 Parquet 要素图层(测试版)输出,建议使用覆盖输出方法而不是如果项目已存在,则覆盖选项。 覆盖方法可用于显式选择要覆盖的项目,而不是依赖上一次运行后可能已更改的文件名称或文件夹进行选择。
- 如果计划数据管道的输出使用创建输出方法,但未启用覆盖参数,则任务在首次运行后将失败,因为该项目已存在。 请考虑以下解决方案:
- 对于要素图层输出,可以在计划任务之前创建要素图层,并将输出方法设置为替换或添加并更新(推荐),或者启用如果图层已存在,则覆盖参数(不推荐)。
- 对于文件项目输出或 Parquet 要素图层(测试版)输出,可以在计划任务前创建项目,然后将输出方法设置为覆盖(建议),或者启用如果项目已存在,则覆盖参数(不建议)。
在计划数据管道任务时,请考虑以下因素:
- 可以按每 15 分钟一次的最高频率计划运行任务。
- 可以使用高级最长运行时长参数来指定任务在自动取消之前可运行的最长时间。
- 仅可为自己拥有的数据管道项目创建任务。 这适用于所有用户类型,包括管理员。 管理员可以查看和编辑组织中所有数据管道项目的任务。
- 如果任务运行时间超过了计划任务之间的时间间隔,后续任务运行将被跳过。
- 任何连续失败五次的任务将自动切换到失败状态并且不再运行。 为确保任务继续运行,任务的所有者必须识别并纠正故障,然后将任务更改为活动状态。
- 每个任务最多可以再任务运行列表中存储 30 次任务运行。 30 次运行后,最早的任务运行将无法访问,且最近的运行将添加到列表中。
- 每个用户账户最多可以拥有 10 个活动 Data Pipelines 任务。 每个组织的所有用户拥有的活动 Data Pipelines 任务总数不能超过 50 个。 在 Data Pipelines 中,活动任务将显示下次运行时间。 对非活动任务的数量没有限制。 如果已有 10 个活动任务,则需暂停或删除一个活动任务以创建新任务。
- 如果删除具有计划任务的数据管道或者将其移至回收站,则将永久删除这些任务,并且无法进行恢复。
- 当重复类型为天时,任务运行计划将相对于每月的第一天(而不是任务的起始日期)进行计算。 例如,如果计划从 1 月 2 日起每 3 天运行一次任务,则第一次运行时间为 1 月 4 日。