您在 ArcGIS Data Pipelines 应用程序中创建的数据管道作为项目存储在您的内容中。 您将使用 Data Pipelines 编辑器来创建和编辑数据管道。 以下部分概述了数据管道编辑器并解释了如何在编辑器中创建和运行数据管道。
数据管道元素
以下是数据管道的元素：
- 输入
- 输入用于将数据加载到数据管道中以供下游处理。 您可以使用许多输入源类型。 有关源和源类型的详细信息，请参阅数据集配置。
- 单个数据管道中可以包含多个数据源。 数据管道工作流中至少需要一个数据源。
- 工具
- 工具用于处理从输入数据集中加载的数据。
- 单个数据管道中可以包含多个工具。
- 工具可以相互连接，其中一个工具的输出表示下一个工具的输入。
- 要了解有关可用工具及其使用方法的详细信息，请参阅数据处理。
- 输出
- 输出用于定义数据管道结果的处理方式。
- 您可以将数据管道结果输出到新的要素图层，替换现有要素图层中的数据，或者添加和更新要素图层中的现有数据。
- 单个数据管道中可以包含多个输出。
- 您可以为单个工具结果或输入数据集配置多个输出。 运行数据管道至少需要一个输出。
- 要了解有关写入结果的详细信息，请参阅要素图层。
数据管道工作流
数据管道工作流由上述元素组成：连接到现有数据、执行数据工程以及写入新准备的数据。 运行数据管道时，它会生成一个或多个输出。 您的内容中提供了所有输出结果。
连接到数据
创建数据管道的第一步是连接到数据。 在编辑器工具栏上的输入下，选择要连接的源类型。 例如，选择要素图层并浏览至该图层，或选择 Amazon S3 并浏览至表示包含数据集的存储容器和文件夹的数据存储项。 要了解有关连接到数据以及如何优化读取性能的详细信息，请参阅数据集配置。
执行数据处理
第二步是处理输入数据。 在编辑器工具栏上的工具下，选择要在数据集上完成的过程。 例如，要计算 CSV 数据的位置并过滤特定感兴趣区域的位置，可以使用创建几何和按范围过滤工具。
要指定用作工具输入的数据集，请执行以下操作之一：
- 通过将指针从一个元素的连接器拖动到另一个元素来绘制一条线。
- 使用输入数据集参数来识别输入数据集。
处理数据为可选操作。 连接到数据集后，可以将其作为要素图层写出，无需任何处理。
要提高数据管道处理的性能，您可以使用以下一种或多种工具来限制您正在使用的数据量：
预览数据管道元素
可以在工作流的任何步骤中使用预览功能来查看数据。 预览包含以下用于检查数据的方法：
- 表预览
- 显示数据的表格表示。 - 地图预览
- 在地图上显示数据集的位置。 在地图预览中，您可以平移、缩放和检查属性。 - 方案
- 查看数据集的方案。 - 消息
- 查看从预览操作返回的消息。
预览最多可显示 8000 条数据记录。
当预览日期时间字段时，将以浏览器的时区显示值。 将值写入要素图层时，将以 UTC 时间存储这些值。
预览包含复杂几何的数据集可能会消耗大量可用内存。 如果超出了内存阈值，可能无法渲染地图预览，或者在进行恢复时状态可能变为“正在重新连接”。 要改善预览性能，可以执行以下操作：
要将完整数据集写入要素图层，请确保在运行数据管道之前移除过滤器或简化工具。
运行数据管道
可以使用画布操作栏中的运行按钮 
来运行已配置的流程。 要运行数据管道，必须至少配置一个输出要素图层元素。 通过单击运行详细信息按钮 
，可以从最新的运行详细信息控制台访问运行结果和消息。 可以单击结果以打开项目页面。
要按照自动计划运行数据管道，可以创建一个任务。 有关为数据管道创建计划任务的详细信息，请参阅计划数据管道任务。
向数据管道添加注释
添加注释以记录您的工作流。 可以向画布中的特定元素或者整个数据管道添加注释。
要向特定元素添加注释，请选择该元素，然后单击元素操作栏上的注释按钮 
。 添加元素注释后，可以再次单击注释按钮以查看或编辑注释。 要查看所有元素注释，请单击编辑器工具栏上的注释按钮，然后选择元素注释。 可以在其中删除元素注释，或者单击注释以在画布中将其打开，您可以在画布中查看或编辑注释。 每个元素只能具有一个注释。 元素注释限制为 16,000 个字符。
要向整个数据管道添加注释，请单击编辑器工具栏上的注释按钮 
，然后选择总体注释。 可以在其中创建、查看、编辑或删除总体注释。 每个数据管道只能具有一个总体注释。 总体注释限制为 16,000 个字符。
当复制元素时，将不会随元素一起复制注释。
将带有注释的现有数据管道另存为新项目时，将随新项目一起保存注释。