数据处理

ArcGIS Data Pipelines 对存储的矢量和表格数据（例如要素图层中的数据）或云或对象存储（例如 Amazon S3 和 Google BigQuery）中的数据执行批处理。Data Pipelines 提供了数据准备和工程功能，因此您可以混合和构建数据并将其集成到 ArcGIS 中。 可以使用以下工具集类别的工具执行处理：

• 清理 - 清理数据。 例如，您可以移除不需要的字段。 您也可以修改字段或填写缺失值。
• 构建 - 创建从图层的现有字段或属性派生的字段。 例如，您可以添加并计算新字段；标准化、变换或重分类现有字段；并根据输入图层的几何添加字段。
• 格式化 - 更改字段的格式或重新组织表或要素类中的字段。 例如，您可以转换时间字段、对分类字段进行编码或缩小现有字段的尺寸。
• 集成 - 将来自另一个数据源的数据集成或添加到输入表或要素类。 例如，您可以通过丰富数据来连接字段或添加字段。
• 输出数据集 - 选择要写入和存储结果的输出类型。

示例

以下是可以使用 Data Pipelines 的示例场景：

• 作为数据科学家，您可以组合不同的数据集并使用 ArcGIS Arcade 函数将变量作为字段进行计算。
• 作为 GIS 分析师，您可以构建和共享可重现的数据准备工作流。
• 作为一名环境科学家，您可以组合和标准化存储为 .csv 文件集合的外业信息。

工具

以下各部分中的表介绍了 Data Pipelines 编辑器中不同类别中的工具。

清理

清理类别包含以下工具：

工具	描述
按属性过滤	“按属性过滤”工具将基于查询返回数据集的子集。 输出是一个新数据集，仅包含满足查询中指定条件的记录。
按范围过滤	“按范围过滤”工具将基于指定的空间范围返回数据集的子集。 输出是一个新数据集，仅包含地理上位于指定范围内的记录。
移除重复项	“移除重复项”工具根据一个或多个关键字段移除重复记录。 输出为没有重复记录的新数据集。
选择字段	“选择字段”工具在输出数据集中维护一个或多个指定字段。 输出是一个新数据集，仅包含指定的字段。
简化几何	“简化几何”工具通过移除不必要的折点并仅保留最关键的折点来简化折线或面的复杂性。

构建

构建类别包含以下工具：

工具	描述
计算字段	“计算字段”工具用于计算新字段或现有字段的字段值。 您可以使用 Arcade 函数来定义计算表达式。
创建日期时间	“创建日期时间”工具将使用现有字段值创建日期字段。
创建几何	“创建几何”工具将使用一个或多个字段创建几何字段。

格式

格式化类别包含以下工具：

工具	描述
映射字段	映射字段工具通过将数据集方案与目标方案进行匹配对该方案进行转换。
投影几何	“投影几何”工具可将几何字段投影到一个新的空间参考。
取消嵌套字段	取消嵌套字段 工具用于将在数组、映射或结构体字段中存储的值返回为新字段或行。
更新字段	“更新字段”工具可更新字段名称或字段类型。

集成

集成类别包含以下工具：

工具	描述
连接	“连接”工具将基于指定关系连接数据集。 可以使用匹配属性、空间关系、时间关系或三者的任意组合来连接数据集。
合并	“合并”工具可将一个或多个数据集组合为一个新数据集。 您可以组合点、线、面或表格数据集。

输出数据集

支持以下输出数据集：

工具	描述
要素图层	要素图层输出将数据管道数据集写入托管要素图层或托管表。 您可以创建要素图层或表、替换现有要素图层或表中的数据，或者向现有要素图层或表添加和更新记录。