ArcGIS Data Pipelines に関してよくある質問への回答をご紹介します。
- ArcGIS Data Pipelines とは
- Data Pipelines でクレジットは請求されますか？
- Data Pipelines は ArcGIS Enterprise で使用できますか？
- Data Pipelines にアクセスするにはどうすればよいですか？
- Data Pipelines を開始する方法
- Data Pipelines でどのようなデータを使用できますか？
- データ パイプラインの入力として ArcGIS Living Atlas レイヤーを使用できますか？
- Google Cloud プラットフォーム上のデータセットに接続できますか？
- データがソースの場所で更新されました。 データ パイプラインでデータセットを同期するにはどうすればよいですか？
- Data Pipelines の結果はどこに格納できますか？ Amazon S3 に格納できますか？
- Data Pipelines を使用してフィーチャ レイヤーまたはテーブルにフィーチャをいくつ書き込むことができますか？
- Data Pipelines を使用して住所をジオコーディングすることはできますか？
- 今後のリリースで提供されるツールは何ですか？
- データ パイプラインを共有できますか？
- Data Pipelines エディターで操作を元に戻したり、やり直したりする方法はありますか？
- ダイアグラム内のエレメントをコピーおよび貼り付ける方法はありますか？
- データ パイプラインの実行をスケジュール設定できますか？
- Data Pipelines は ArcGIS Velocity とどのように異なりますか？
- Data Pipelines は ArcGIS Data Interoperability とどのように異なりますか？
- Data Pipelines は Map Viewer の ModelBuilder とどのように異なりますか？
- 私は新しい組織のユーザーですが、Data Pipelines にアクセスできません。 どうすれば解決できますか？
はい。 クレジット消費量は計算リソースの使用時間に基づきます。 詳細については、「計算リソース」をご参照ください。
計算リソースがアクティブになっている間は、クレジットが消費されます。 計算リソースは、次のシナリオでアクティブになります。
- 対話的編集 - エディターでデータ パイプラインを作成または編集する場合、接続ステータスが [接続] になっている間は、クレジットが消費されます。 クレジット レートは 1 時間あたり 50 クレジットです (1 分単位の計算、最短 10 分)。
- ジョブ - ジョブは、ArcGIS API for Python を使用してデータ パイプラインを実行する場合、または Data Pipelines ギャラリー ページの実行オプションを使用する場合に、スケジュール設定されたデータ パイプライン タスクに対して実行されます。 ジョブでは、データ パイプラインの実行中にのみクレジットが消費されます。 クレジットは、実行ごとに完了までにかかった時間に対して課金され、1 時間で 70 クレジット (1 分単位の計算) のレートで計算されます。 ジョブには最低料金はありません。
- 接続の詳細ダイアログ ボックスですべて切断ボタンを使用した場合。 これにより、接続されているすべてのエディターが切断され、少なくとも 1 つのエディターが再接続されるまでクレジットは消費されません。
- エディターが接続されているすべてのブラウザー タブが閉じてから 10 分以上が経過した場合。 その 10 分間は、クレジットが消費されません。
- エディターのすべてのブラウザー タブが非アクティブな状態で 30 分が経過した場合。 ステータスが [切断] になります。
- スケジュール設定されたデータ パイプライン タスクの実行が完了した場合。
- ArcGIS API for Python を使用してデータ パイプラインの実行が完了した場合。
Data Pipelines を開始するには、「チュートリアル: データ パイプラインの作成」をご参照ください。 このチュートリアルでは、データへの接続と処理、データ パイプラインの実行など、Data Pipelines を使用する際の主なコンポーネントの概要を説明しています。
操作を開始するためのその他のリソースについては、Data Pipelines コミュニティ ブログ記事をご参照ください。
次のデータ タイプが入力としてサポートされています。
- Amazon S3
- フィーチャ レイヤー
- パブリック URL からのファイル
- コンテンツにアップロードされたファイル
- Google BigQuery
- Microsoft Azure ストレージ
- Snowflake
サポートされているファイル タイプと入力データセットへの接続方法の詳細については、リンク先の入力データ タイプのドキュメントをご参照ください。
はい。 入力として、ArcGIS Living Atlas フィーチャ レイヤーを使用できます。 レイヤーをダイアグラムに追加するには、「フィーチャ レイヤー」をご参照ください。 デフォルトでは、[マイ コンテンツ] でフィーチャ レイヤーの参照ダイアログ ボックスが開きます。 ArcGIS Living Atlas レイヤーを検索するには、ダイアログ ボックスで [Living Atlas] に切り替えます。
いいえ、まだできません。 今後のリリースで、次の外部データ ソース タイプが追加でサポートされるようになります。
- Google Cloud プラットフォーム
- Microsoft Azure Cosmos DB for PostgreSQL
- API リクエストから返されたデータ
このリスト内のデータ ソースは、特定のリリースで保証されるものではなく、ここに記載されていないデータ ソースが追加される可能性もあります。 ワークフローを改善するデータ ソースのご提案がありましたら、Data Pipelines コミュニティ フォーラムでコメントを投稿してください。
データがソースの場所で定期的に更新され、このデータをデータ パイプラインで使用する場合は、[キャッシュの使用] パラメーターを入力として使用しないことをお勧めします。 キャッシュを使用しない場合、Data Pipelines はプレビューまたは実行の要求があるたびに最新のデータを読み取ります。 キャッシュを使用する場合、キャッシュした時点で利用可能なデータのみが使用されます。
出力フィーチャ レイヤーを作成し、これを最新データによって更新する必要がある場合、フィーチャ レイヤー ツールの [置換] または [追加および更新] オプションを使用して、データ パイプラインを再び実行します。 データ パイプライン アイテムのタスクをスケジュール設定することによって、データ パイプラインの再実行を自動化することができます。 データ パイプライン ワークフローの自動化の詳細については、「データ パイプライン タスクのスケジュール設定」をご参照ください。
今後のリリースでは、次のツールが追加される予定です。
- 検索と置換 - 特定の値のフィールドを検索して、新しい値と置き換えます。
- 住所のジオコーディング - テーブルまたはファイルから文字列の住所を使用し、ジオコーディングされた結果を返します。
このリスト内のツールは、いずれかのリリースで保証されるものではなく、ここに記載されていないツールが追加される可能性もあります。 ワークフローを改善するツールのご提案がありましたら、Data Pipelines コミュニティ フォーラムでコメントを投稿してください。
はい。 データ パイプライン アイテムは、組織内のグループまたは一般ユーザーと共有できます。 データ パイプライン アイテムを編集できるのは、アイテムの所有者のみです。 共有更新グループを使用すると、グループ内のすべてのユーザーがデータ パイプラインを編集および保存できるようになります。 データ パイプラインが共有更新機能を持たないグループと共有されている場合、エディター ツールバーの [名前を付けて保存] オプションを使用して、データ パイプラインをコンテンツ内の編集可能なコピーとして保存できます。
はい。 データ パイプライン アイテムにタスクを作成することで、スケジュールに従ってワークフローを実行することができます。 データ パイプライン タスクを作成する方法については、「データ パイプラインのスケジュール設定」をご参照ください。
ArcGIS Online の Data Pipelines と Velocity には、いくつかの共通点があります。 どちらのアプリケーションでも、外部のデータ ソースに接続し、データを ArcGIS Online にインポートして、ArcGIS システム全体で使用することができます。 ただし、各アプリケーションの目的は異なります。 Velocity はリアルタイム処理およびビッグ データ処理専用に設計され、センサーや同様のソースからの高速データ ストリームを効率的に処理します。 また、デバイスの追跡、インシデント検出、パターン解析などの解析を行うことを主な目的としています。 Data Pipelines は主にデータ統合アプリケーションであり、特にセンサーベースでないデータ ストリームに対するデータ エンジニアリングのタスクに特化しています。 Velocity がリアルタイム データの処理に使用されるのに対し、Data Pipelines は更新頻度の低いデータの管理および最適化に使用されます。
どちらも ArcGIS 向けのノーコード ETL ツールであり、データの統合、変換、消去に対応しています。 一方、Data Pipelines は ArcGIS Online ですぐに使用できる Web ベースのアプリケーションですが、Data Interoperability は別のライセンスとインストールを必要とする ArcGIS Pro のエクステンションであるという点で大きく異なります。 Data Pipelines では、ArcGIS Online のデータ統合に重点が置かれており、結果がホスト フィーチャ レイヤーに書き出されるのに対し、Data Interoperability では、広範な入力とファイル タイプに対応しており、結果をソースに書き込むことができます。
Map Viewer の ModelBuilder と Data Pipelines はどちらも、Web 上で反復利用が可能なワークフローの作成でローコードのドラッグ アンド ドロップ操作を提供するという点で似ています。 ただし、いくつか異なる点があります。
- ModelBuilder を使用すると、Map Viewer で利用可能な解析ツールを活用して解析ワークフローを自動化できます。Data Pipelines は、データ統合ワークフローやデータ準備ワークフローを自動化するために使用できます。これには、視覚化および下流解析用にデータをクリーニング、フォーマット、準備する専用のツールが含まれています。
- ModelBuilder はフィーチャ レイヤーとテーブルをサポートしています。 一方、Data Pipelines では、Amazon S3、Microsoft Azure ストレージ、Google BigQuery、Snowflake、フィーチャ レイヤー、アップロードされたローカル ファイル、URL から直接読み取られたデータなど、さまざまなソースからのベクター データとテーブル データがサポートされています。
- ModelBuilder は ArcGIS Online Map Viewer に含まれ、Map Viewer 解析に統合される機能です。Data Pipelines は Map Viewer とは別に利用されるアプリケーションです。
少なくとも 1 つのフィーチャ レイヤーが公開されるまで、Data Pipelines サービスは組織に設定されません。 これは、空間解析、ノートブックなどの他のサービスと同じ動作です。 これを解決するには、コンテンツに移動してフィーチャ レイヤーを作成します。 これはユーザーごとではなく、組織ごとに一度行う必要があります。 フィーチャ レイヤーの公開後に問題が解決しない場合は、Esri テクニカル サポートにお問い合わせください。