データの処理

ArcGIS Data Pipelines は、フィーチャ レイヤー内のデータやクラウドまたはオブジェクト ストア (たとえば Amazon S3 や Google BigQuery) 内のデータなど、格納されたベクター データとテーブル データに対してバッチ処理を実行します。Data Pipelines には、データ準備機能とエンジニアリング機能が備わっているため、データをブレンドおよび構築して ArcGIS に統合することができます。 実行できる処理では、ツールセットとして次のカテゴリに分類されたツールが使用されます。

• [クリーン] - データをクリーニングします。 たとえば、不要なフィールドを削除することができます。 また、フィールドを変更したり、欠損値を補完したりすることもできます。
• [構築] - レイヤーの既存のフィールドまたはプロパティから派生したフィールドを作成します。 たとえば、新しいフィールドを追加して計算したり、既存のフィールドを標準化、変換、または再分類したり、入力レイヤーのジオメトリに基づいてフィールドを追加したりすることができます。
• [形式] - テーブルまたはフィーチャクラスのフィールドの形式を変更したり、フィールドを再編成したりします。 たとえば、時間フィールドを変換したり、カテゴリ フィールドをエンコードしたり、既存のフィールドの次元を減らしたりすることができます。
• [統合] - 別のデータ ソースから入力テーブルまたはフィーチャクラスにデータを統合または追加します。 たとえば、データに情報付加することで、フィールドを結合または追加できます。
• 出力データセット - 出力タイプを選択し、結果を書き込んで格納します。

例

Data Pipelines は次のようなシナリオで使用できます。

• データ サイエンティストが異なるデータセットを組み合わせ、ArcGIS Arcade 関数を使用して変数をフィールドとして計算する場合。
• GIS アナリストが、再現可能なデータ準備ワークフローを構築および共有する場合。
• 環境科学者が .csv ファイルのコレクションとして格納されているフィールド情報を組み合わせて標準化する場合。

ツール

下記のセクションの表には、Data Pipelines エディターのさまざまなカテゴリのツールが示されています。

クリーン

[クリーン] カテゴリに含まれるツールを次に示します。

ツール	説明
属性によるフィルター	属性によるフィルター ツールは、クエリに基づいてデータセットのサブセットを返します。 クエリで指定した条件を満たすレコードのみを含む新しいデータセットが出力されます。
範囲によるフィルター	範囲によるフィルター ツールは、指定した空間範囲に基づき、データセットのサブセットを返します。 指定した範囲に地理的に含まれるレコードのみを含む新しいデータセットが出力されます。
重複の削除	重複の削除ツールは、1 つまたは複数のキー フィールドに基づき、重複レコードを削除します。 重複レコードが含まれない新しいデータセットが出力されます。
フィールドの選択	フィールドの選択ツールは、指定した 1 つ以上のフィールドを出力データセットに保持します。 指定したフィールドのみを含む新しいデータセットが出力されます。
ジオメトリの単純化	ジオメトリの単純化ツールは、不要な頂点を取り除き、最も重要な頂点のみを維持することによって、ポリラインやポリゴンの複雑さを単純化します。

構築

[構築] カテゴリに含まれるツールを次に示します。

ツール	説明
フィールド演算	フィールド演算ツールは、新規または既存のフィールドのフィールド値を計算します。 Arcade 関数を使用して、計算式を定義できます。
日付/時間の作成	日付/時間の作成ツールは、既存のフィールド値を使用して、日付フィールドを作成します。
ジオメトリの作成	ジオメトリの作成ツールは、1 つ以上のフィールドを使用してジオメトリ フィールドを作成します。

形式

[形式] カテゴリに含まれるツールを次に示します。

ツール	説明
フィールドのマップ	[フィールドのマップ] ツールでは、データセットのスキーマをターゲット スキーマと一致させて、そのスキーマを変換します。
ジオメトリの投影変換	ジオメトリの投影変換ツールは、新しい空間参照にジオメトリ フィールドを投影変換します。
フィールドのネスト解除	[フィールドのネスト解除] ツールを実行すると、array、map、struct フィールドに格納されている値が新しいフィールドまたは行として返されます。
フィールドの更新	フィールドの更新ツールは、フィールド名またはフィールド タイプを更新します。

インテグレート

[統合] カテゴリに含まれるツールを次に示します。

ツール	説明
結合	結合ツールは、指定したリレーションシップに基づいてデータセットを結合します。 データセットは、一致する属性、空間リレーションシップ、時系列リレーションシップ、またはその 3 つの任意の組み合わせを使用して結合することができます。
マージ	統合ツールは、1 つ以上のデータセットを単一の新しいデータセットに結合します。 ポイント、ライン、ポリゴン、表形式のデータセットを結合できます。

出力データセット

次の出力データセットがサポートされています。

ツール	説明
フィーチャ レイヤー	フィーチャ レイヤー出力では、データ パイプライン データセットをホスト フィーチャ レイヤーまたはホスト テーブルに書き込みます。 フィーチャ レイヤーまたはテーブルを作成したり、既存のフィーチャ レイヤーまたはテーブル内のデータを置き換えたり、既存のフィーチャ レイヤーまたはテーブルにレコードを追加したり、既存のフィーチャ レイヤーまたはテーブル内のレコードを更新したりできます。