ArcGIS Data Pipelines に関してよくある質問への回答をご紹介します。
- ArcGIS Data Pipelines とは
- Data Pipelines でクレジットは請求されますか？
- Data Pipelines は ArcGIS Enterprise で使用できますか？
- Data Pipelines にアクセスするにはどうすればよいですか？
- Data Pipelines を開始する方法
- Data Pipelines でどのようなデータを使用できますか？
- データ パイプラインの入力として ArcGIS Living Atlas レイヤーを使用できますか？
- Google Cloud プラットフォーム上のデータセットに接続できますか？
- データがソースの場所で更新されました。 データ パイプラインでデータセットを同期するにはどうすればよいですか？
- Data Pipelines の結果はどこに格納できますか？ Amazon S3 に格納できますか？
- Data Pipelines を使用してフィーチャ レイヤーまたはテーブルにフィーチャをいくつ書き込むことができますか？
- Data Pipelines を使用して住所をジオコーディングすることはできますか？
- 今後のリリースで提供されるツールは何ですか？
- データ パイプラインを共有できますか？
- Data Pipelines エディターで操作を元に戻したり、やり直したりする方法はありますか？
- ダイアグラム内のエレメントをコピーおよび貼り付ける方法はありますか？
- データ パイプラインの実行をスケジュール設定できますか？
- Data Pipelines は ArcGIS Velocity とどのように異なりますか？
- Data Pipelines と ArcGIS Data Interoperability はどのように異なりますか？
はい。 クレジット消費量は計算リソースの使用時間に基づきます。 詳細については、「計算リソース」をご参照ください。
計算リソースがアクティブになっている間は、クレジットが消費されます。 計算リソースは、次のシナリオでアクティブになります。
- 対話的 - エディターで、接続ステータスが [接続] になっている間は、クレジットが消費されます。 ステータスが [切断] の場合、クレジットは消費されません。 ステータスが [再接続しています] の場合、計算リソースはアクティブになっていますが、再接続に失敗した際に再接続期間中のクレジットは消費されません。 エディターが開いた状態のブラウザー タブが複数存在する場合は、タブごとに課金されることはありません。 少なくとも 1 つのタブが接続されている時間の分だけ課金されます。
- スケジュール済み - スケジュール設定されたデータ パイプライン タスクの場合、データ パイプラインが実行されている間は、クレジットが消費されます。 クレジットは、実行ごとに、タスクの完了にかかった時間の分だけ課金されます。
- エディターが接続されているすべてのブラウザー タブが閉じてから 10 分以上が経過した場合。 その 10 分間は、クレジットが消費されません。
- エディターのすべてのブラウザー タブが非アクティブな状態で 30 分が経過した場合。 ステータスが [切断] になります。
- スケジュール設定されたデータ パイプライン タスクの実行が完了した場合。
Data Pipelines を開始するには、「チュートリアル: データ パイプラインの作成」をご参照ください。 このチュートリアルでは、データへの接続と処理、データ パイプラインの実行など、Data Pipelines を使用する際の主なコンポーネントの概要を説明しています。
操作を開始するためのその他のリソースについては、Data Pipelines コミュニティ ブログ記事をご参照ください。
次のデータ タイプが入力としてサポートされています。
- Amazon S3
- フィーチャ レイヤー
- パブリック URL からのファイル
- コンテンツにアップロードされたファイル
- Google BigQuery
- Microsoft Azure ストレージ
- Snowflake
サポートされているファイル タイプと入力データセットへの接続方法の詳細については、リンク先の入力データ タイプのドキュメントをご参照ください。
はい。 入力として、ArcGIS Living Atlas フィーチャ レイヤーを使用できます。 レイヤーをダイアグラムに追加するには、「フィーチャ レイヤー」をご参照ください。 デフォルトでは、[マイ コンテンツ] でフィーチャ レイヤーの参照ダイアログ ボックスが開きます。 ArcGIS Living Atlas レイヤーを検索するには、ダイアログ ボックスで [Living Atlas] に切り替えます。
いいえ、まだできません。 今後のリリースで、次の外部データ ソース タイプが追加でサポートされるようになります。
- Google Cloud プラットフォーム
- Microsoft Azure Cosmos DB for PostgreSQL
- API リクエストから返されたデータ
このリスト内のデータ ソースは、特定のリリースで保証されるものではなく、ここに記載されていないデータ ソースが追加される可能性もあります。 ワークフローを改善するデータ ソースのご提案がありましたら、Data Pipelines コミュニティ フォーラムでコメントを投稿してください。
データがソースの場所で定期的に更新され、このデータをデータ パイプラインで使用する場合は、[キャッシュの使用] パラメーターを入力として使用しないことをお勧めします。 キャッシュを使用しない場合、Data Pipelines はプレビューまたは実行の要求があるたびに最新のデータを読み取ります。 キャッシュを使用する場合、キャッシュした時点で利用可能なデータのみが使用されます。
出力フィーチャ レイヤーを作成し、これを最新データによって更新する必要がある場合、フィーチャ レイヤー ツールの [置換] または [追加および更新] オプションを使用して、データ パイプラインを再び実行します。 データ パイプライン アイテムのタスクをスケジュール設定することによって、データ パイプラインの再実行を自動化することができます。 データ パイプライン ワークフローの自動化の詳細については、「データ パイプライン タスクのスケジュール設定」をご参照ください。
今後のリリースでは、次のツールが追加される予定です。
- 検索と置換 - 特定の値のフィールドを検索して、新しい値と置き換えます。
- 住所のジオコーディング - テーブルまたはファイルから文字列の住所を使用し、ジオコーディングされた結果を返します。
このリスト内のツールは、いずれかのリリースで保証されるものではなく、ここに記載されていないツールが追加される可能性もあります。 ワークフローを改善するツールのご提案がありましたら、Data Pipelines コミュニティ フォーラムでコメントを投稿してください。
はい。 データ パイプライン アイテムは、組織内のグループまたは一般ユーザーと共有できます。 データ パイプライン アイテムを編集できるのは、アイテムの所有者のみです。 共有更新グループを使用すると、グループ内のすべてのユーザーがデータ パイプラインを編集および保存できるようになります。 データ パイプラインが共有更新機能を持たないグループと共有されている場合、エディター ツールバーの [名前を付けて保存] オプションを使用して、データ パイプラインをコンテンツ内の編集可能なコピーとして保存できます。
はい。 データ パイプライン アイテムにタスクを作成することで、スケジュールに従ってワークフローを実行することができます。 データ パイプライン タスクを作成する方法については、「データ パイプラインのスケジュール設定」をご参照ください。
Data Pipelines の Velocity と ArcGIS Online には、いくつかの共通点があります。 どちらのアプリケーションでも、外部のデータ ソースに接続し、データを ArcGIS Online にインポートして、ArcGIS システム全体で使用することができます。 ただし、各アプリケーションの目的は異なります。 Velocity はリアルタイム処理およびビッグ データ処理専用に設計され、センサーや同様のソースからの高速データ ストリームを効率的に処理します。 また、デバイスの追跡、インシデント検出、パターン解析などの解析を行うことを主な目的としています。 Data Pipelines は主にデータ統合アプリケーションであり、特にセンサーベースでないデータ ストリームに対するデータ エンジニアリングのタスクに特化しています。 Velocity がリアルタイム データの処理に使用されるのに対し、Data Pipelines は更新頻度の低いデータの管理および最適化に使用されます。
まずは、これらの類似点を挙げます。 どちらも ArcGIS 向けのノーコード ETL ツールであり、データの統合、変換、消去に対応しています。 一方、Data Pipelines は ArcGIS Online ですぐに使用できる Web ベースのアプリケーションですが、Data Interoperability は別のライセンスとインストールを必要とする ArcGIS Pro のエクステンションであるという点で大きく異なります。 Data Pipelines では、ArcGIS Online のデータ統合に重点が置かれており、結果がホスト フィーチャ レイヤーに書き出されるのに対し、Data Interoperability では、広範な入力とファイル タイプに対応しており、結果をソースに書き込むことができます。