数据处理

ArcGIS Data Pipelines 对存储的矢量和表格数据（例如要素图层中的数据）或云或对象存储（例如 Amazon S3 和 Google BigQuery）中的数据执行批处理。Data Pipelines 提供了数据准备和工程功能，因此您可以混合和构建数据并将其集成到 ArcGIS 中。 可以使用以下工具集类别的工具执行处理：

• 清理 - 清理数据。 例如，您可以移除不需要的字段。 您也可以修改字段或填写缺失值。
• 构建 - 创建从图层的现有字段或属性派生的字段。 例如，您可以添加并计算新字段；标准化、变换或重分类现有字段；并根据输入图层的几何添加字段。
• 格式化 - 更改字段的格式或重新组织表或要素类中的字段。 例如，您可以转换时间字段、对分类字段进行编码或缩小现有字段的尺寸。
• 集成 - 将来自另一个数据源的数据集成或添加到输入表或要素类。 例如，您可以通过丰富数据来连接字段或添加字段。
• 输出数据集 - 选择要写入和存储结果的输出类型。

示例

以下是可以使用 Data Pipelines 的示例场景：

• 作为数据科学家，您可以组合不同的数据集并使用 ArcGIS Arcade 函数将变量作为字段进行计算。
• 作为 GIS 分析师，您可以构建和共享可重现的数据准备工作流。
• 作为一名环境科学家，您可以组合和标准化存储为 .csv 文件集合的外业信息。

工具

以下各部分中的表介绍了 Data Pipelines 编辑器中不同类别中的工具。

清理

清理类别包含以下工具：

工具	描述
裁剪	“裁剪”工具会提取与裁剪记录重叠的输入记录。
按属性过滤	“按属性过滤”工具将基于查询返回数据集的子集。 输出是一个新数据集，仅包含满足查询中指定条件的记录。
按范围过滤	“按范围过滤”工具将基于指定的空间范围（边界框）返回数据集的子集。 输出是一个新数据集，仅包含地理上位于指定范围内的记录。
查找和替换	“查找和替换”工具用于在字符串字段中搜索特定值并将其替换为更新后的值。
移除重复项	“移除重复项”工具根据一个或多个关键字段移除重复记录。 输出为没有重复记录的新数据集。
选择字段	“选择字段”工具在输出数据集中维护一个或多个指定字段。 输出是一个新数据集，仅包含指定的字段。
简化几何	“简化几何”工具通过移除不必要的折点并仅保留最关键的折点来简化折线或面的复杂性。

构造

构造类别包含以下工具：

工具	描述
计算字段	“计算字段”工具用于计算新字段或现有字段的字段值。 您可以使用 ArcGIS Arcade 函数来定义计算表达式。
创建缓冲区	“创建缓冲区”工具用于创建覆盖距点、折线或面几何指定距离的面。
创建日期时间	“创建日期时间”工具将使用现有字段值创建日期字段。
创建几何	“创建几何”工具将使用一个或多个字段创建几何字段。

格式化

格式化类别包含以下工具：

工具	描述
映射字段	映射字段工具通过将数据集方案与目标方案进行匹配对该方案进行转换。
透视表	“透视表”工具通过使用现有字段中的不同值将较长的数据集转换为较宽的数据集，以创建新字段。
投影几何	“投影几何”工具可将几何字段投影到新的坐标系。
取消嵌套字段	取消嵌套字段 工具用于将在数组、映射或结构体字段中存储的值返回为新字段或行。
更新字段	“更新字段”工具可更新字段名称或字段类型。

整合

整合类别包含以下工具：

工具	描述
融合	“融合”工具用于查找重叠或共享公共边界，或者共享公共属性的面或折线，然后对其进行合并以形成单一面或折线。
连接	“连接”工具将基于指定关系连接数据集。 可以使用匹配属性、空间关系、时间关系或三者的任意组合来连接数据集。
合并	“合并”工具可将一个或多个数据集组合为一个新数据集。 您可以组合点、线、面或表格数据集。
汇总属性	“汇总属性”工具用于汇总记录并计算统计数据。 您可以汇总所有记录，或者根据一个或多个字段中的匹配值进行汇总。

输出

支持的输出类型如下：

工具	描述
要素图层	要素图层输出将数据管道数据集写入托管要素图层或托管表。 您可以创建要素图层或表、替换现有要素图层或表中的数据，或者向现有要素图层或表添加和更新记录。
文件	文件输出将数据管道数据集写入内容中的 CSV、GeoJSON 或 Apache Parquet 文件中。 可创建新文件或覆盖现有文件。
Parquet 要素图层（测试版）	Parquet 要素图层（测试版）输出将数据管道数据集写入内容中的 Parquet 要素图层中。 您可以创建新的 Parquet 要素图层，或覆盖现有图层。 Parquet 要素图层可用于优化存储，以及执行 Map Viewer 和其他受支持应用程序中的可视化工作流。