データの処理

ArcGIS Data Pipelines は、フィーチャ レイヤー内のデータやクラウドまたはオブジェクト ストア (たとえば Amazon S3 や Google BigQuery) 内のデータなど、格納されたベクター データとテーブル データに対してバッチ処理を実行します。Data Pipelines には、データ準備機能とエンジニアリング機能が備わっているため、データをブレンドおよび構築して ArcGIS に統合することができます。 実行できる処理では、ツールセットとして次のカテゴリーに分類されたツールが使用されます。

• [クリーン] - データをクリーニングします。 たとえば、不要なフィールドを削除することができます。 また、フィールドを変更したり、欠損値を補完したりすることもできます。
• [構築] - レイヤーの既存のフィールドまたはプロパティから派生したフィールドを作成します。 たとえば、新しいフィールドを追加して計算したり、既存のフィールドを標準化、変換、または再分類したり、入力レイヤーのジオメトリーに基づいてフィールドを追加したりすることができます。
• [形式] - テーブルまたはフィーチャクラスのフィールドの形式を変更したり、フィールドを再編成したりします。 たとえば、時間フィールドを変換したり、カテゴリー フィールドをエンコードしたり、既存のフィールドの次元を減らしたりすることができます。
• [統合] - 別のデータ ソースから入力テーブルまたはフィーチャクラスにデータを統合または追加します。 たとえば、データに情報付加することで、フィールドを結合または追加できます。
• 出力データセット - 出力タイプを選択し、結果を書き込んで格納します。

例

Data Pipelines は次のようなシナリオで使用できます。

• データ サイエンティストが異なるデータセットを組み合わせ、ArcGIS Arcade 関数を使用して変数をフィールドとして計算する場合。
• GIS アナリストが、再現可能なデータ準備ワークフローを構築および共有する場合。
• 環境科学者が .csv ファイルのコレクションとして格納されているフィールド情報を組み合わせて標準化する場合。

ツール

下記のセクションの表には、Data Pipelines エディターのさまざまなカテゴリーのツールが示されています。

クリーン

[クリーン] カテゴリーに含まれるツールを次に示します。

ツール	説明
クリップ	クリップ ツールは、クリップ レコードと重なり合う入力レコードを抽出します。
属性によるフィルター	属性によるフィルター ツールは、クエリーに基づいてデータセットのサブセットを返します。 クエリーで指定した条件を満たすレコードのみを含む新しいデータセットが出力されます。
範囲によるフィルター	範囲によるフィルター ツールは、指定した空間範囲 (バウンディング ボックス) に基づき、データセットのサブセットを返します。 指定した範囲に地理的に含まれるレコードのみを含む新しいデータセットが出力されます。
検索と置換	検索と置換ツールは、特定の値の文字列フィールドを検索して、更新された値と置き換えます。
重複の削除	重複の削除ツールは、1 つまたは複数のキー フィールドに基づき、重複レコードを削除します。 重複レコードが含まれない新しいデータセットが出力されます。
フィールドの選択	フィールドの選択ツールは、指定した 1 つ以上のフィールドを出力データセットに保持します。 指定したフィールドのみを含む新しいデータセットが出力されます。
ジオメトリーの単純化	ジオメトリーの単純化ツールは、不要な頂点を取り除き、最も重要な頂点のみを維持することによって、ポリラインやポリゴンの複雑さを単純化します。

構築

[構築] カテゴリーに含まれるツールを次に示します。

ツール	説明
フィールド演算	フィールド演算ツールは、新規または既存のフィールドのフィールド値を計算します。 ArcGIS Arcade 関数を使用して、計算式を定義できます。
バッファーの作成	バッファーの作成ツールは、ポイント、ポリライン、ポリゴン ジオメトリーから特定の距離をカバーするポリゴンを作成します。
日付/時間の作成	日付/時間の作成ツールは、既存のフィールド値を使用して、日付フィールドを作成します。
ジオメトリーの作成	ジオメトリーの作成ツールは、1 つ以上のフィールドを使用してジオメトリー フィールドを作成します。

形式

[形式] カテゴリーに含まれるツールを次に示します。

ツール	説明
フィールドのマップ	[フィールドのマップ] ツールでは、データセットのスキーマをターゲット スキーマと一致させて、そのスキーマを変換します。
ピボット	ピボット ツールは、既存のフィールドの個別値を使用してロング データセットをワイド データセットに変換し、新しいフィールドを作成します。
ジオメトリーの投影変換	ジオメトリーの投影変換ツールは、新しい座標系にジオメトリー フィールドを投影変換します。
フィールドのネスト解除	[フィールドのネスト解除] ツールを実行すると、array、map、struct フィールドに格納されている値が新しいフィールドまたは行として返されます。
フィールドの更新	フィールドの更新ツールは、フィールド名またはフィールド タイプを更新します。

インテグレート

[統合] カテゴリーに含まれるツールを次に示します。

ツール	説明
結合する (Dissolve)	ディゾルブ ツールは、オーバーラップまたは共通の境界線を共有するポリゴンやポリライン、あるいは共通の属性を共有するポリゴンやポリラインを検出し、それらを結合し、1 つのポリゴンまたはポリラインを形成します。
結合	結合ツールは、指定したリレーションシップに基づいてデータセットを結合します。 データセットは、一致する属性、空間リレーションシップ、時系列リレーションシップ、またはその 3 つの任意の組み合わせを使用して結合することができます。
統合	統合ツールは、1 つ以上のデータセットを単一の新しいデータセットに結合します。 ポイント、ライン、ポリゴン、表形式のデータセットを結合できます。
属性の集計	属性の集約ツールは、レコードを集約し、統計情報を計算します。 すべてのレコードを集計することも、1 つ以上のフィールドの一致する値に基づいて集計することもできます。

出力

次の出力タイプがサポートされています:

ツール	説明
フィーチャ レイヤー	フィーチャ レイヤー出力では、データ パイプライン データセットをホスト フィーチャ レイヤーまたはホスト テーブルに書き込みます。 フィーチャ レイヤーまたはテーブルを作成したり、既存のフィーチャ レイヤーまたはテーブル内のデータを置き換えたり、既存のフィーチャ レイヤーまたはテーブルにレコードを追加したり、既存のフィーチャ レイヤーまたはテーブル内のレコードを更新したりできます。
ファイル	ファイル出力は、データ パイプライン データセットをユーザーのコンテンツ内の CSV、GeoJSON、または Apache Parquet ファイルに書き込みます。 新しいファイルを作成することも、既存ファイルに上書きすることもできます。
Parquet フィーチャ レイヤー (ベータ版)	Parquet フィーチャ レイヤー (ベータ版) 出力は、コンテンツ内の Parquet フィーチャ レイヤーにデータ パイプライン データセットを書き込みます。 新しい Parquet フィーチャ レイヤーを作成するか、既存のレイヤーを上書きできます。 Parquet フィーチャ レイヤーを使用すると、ストレージ、Map Viewer での視覚化ワークフロー、およびサポートされている他のアプリケーション向けに最適化できます。