Amazon S3 バケットに格納されたファイルから Amazon S3 ソースでレコードを読み取って ArcGIS Velocity で解析を実行します。
例
Amazon S3 ソースの使用例を次に示します。
- 研究者が、Amazon S3 バケットから数百の区切りテキスト ファイルを Velocity に読み込んで、解析を実行したいと考えています。
- GIS 部門が、一般的に使用する境界シェープファイルを Amazon S3 バケットに格納し、郡の境界シェープファイルを集約境界として Velocity に読み込みます。
使用上の注意
Amazon S3 ソースを操作する際には、以下の点に注意してください。
- [データセット] パラメーターで指定した命名パターンによって Amazon S3 バケット内で識別されたすべてのファイルのスキーマとジオメトリ タイプが同じでなければなりません。 [データセット] パラメーターのフォルダー名を指定する場合、ディレクトリ内にあるすべてのファイルのファイル タイプとスキーマが同じでなければなりません。
- 解析を最初に保存するときに、シークレット アクセス キーが暗号化され、暗号化された状態で格納されます。
- フォルダー パスを指定する場合、スラッシュ (/) を使用します。
- ソースの接続プロパティを設定した後で、「入力データの構成」を参照して、スキーマとキー プロパティの定義方法について確認してください。
- [パブリック] アクセス モードを使用して Velocity を使用するパブリック Amazon S3 バケットに接続する場合、パブリック Amazon S3 バケットでは、バケットのアクセス制御リストで、[リスト] アクションが [すべての人] (パブリック アクセス) に付与されている必要があります。
- Velocity が Amazon S3 バケット、および指定したバケットおよびフォルダー パスのデータに正常に接続するには、指定した Amazon キーに関連付けられたユーザー ポリシーに特定の Amazon S3 アクションが必要です。
- 指定したバケットに対して、s3:ListBucket アクションが必要です。
- Amazon S3 ソースでデータを読み取るには、指定したフォルダー パスとサブリソース (arn:aws:s3:::yourBucketName/*) で s3:GetObject アクションが必要です。
パラメーター
| パラメーター | 説明 | データ タイプ |
|---|---|---|
アクセス キー | S3 バケットの Amazon アクセス キー ID (例: AKIAIOSFODNN7EXAMPLE)。 Velocity は、アクセス キーを使用して、指定したデータ ソースをアプリに読み込みます。 Amazon アクセス キーの詳細については、AWS ドキュメントの「AWS 認証情報を使用した AWS へのアクセス」をご参照ください。 | String |
シークレット キー | S3 バケットの Amazon シークレット アクセス キー (例: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY)。 Velocity は、アクセス キーを使用して、指定したデータ ソースをアプリに読み込みます。 解析を最初に保存するときに、シークレット アクセス キーが暗号化され、暗号化された状態で格納されます。 Amazon シークレット アクセス キーの詳細については、AWS ドキュメントの「AWS 認証情報を使用した AWS へのアクセス」をご参照ください。 | String |
S3 バケット名 | 読み取るファイルが格納されている Amazon S3 バケットの名前。 | String |
フォルダー パス | Velocity に読み込むファイルが含まれているフォルダーのフォルダー パス。
| String |
データセット | 読み取るファイルの名前 (単一のファイルを読み込む場合)、または一連のファイルを示すパターンに、ファイル タイプ拡張子を付けたもの。 一連のファイルを示すパターンを作成するには、アスタリスク (*) をワイルドカードとして、単独でまたはファイル名の一部と組み合わせて使用します。 命名パターンによって識別されたすべてのファイルのスキーマとジオメトリ タイプが同じでなければなりません。 あるいは、複数のファイルやネストされたフォルダーを読み込む場合、ファイル名と拡張子の代わりに、含まれるフォルダー名をデータセット名として指定することもできます。 含まれるフォルダー名をデータセットとして指定する場合、ワイルドカードを使用したりファイル タイプを制限したりすることはできません。 指定したフォルダーにあるすべてのファイルが取り込まれ、すべてが同じファイル タイプである必要があります。 以下に例を示します。
| String |
最新ファイルのみの読み込み | Amazon S3 ソースですべてのファイルを読み込むか、前回実行した解析以降に作成または変更されたファイルのみを読み込むかを指定します。
このパラメーターは、スケジュール設定されたビッグ データ解析でのみ [true] に設定できます。 パラメーターを [true] にしてスケジュール設定されたビッグ データ解析が最初に実行されると、ビッグ データ解析ではファイルが読み込まれず、解析の実行が完了します。 その後の解析の実行では、解析で前回スケジュール設定された実行以来、最後に変更された日付を含むファイルが読み込まれます。 | ブール型 |
検討事項および制限事項
Amazon S3 ソースを使用する際には、以下の点に注意してください。
- データセット プロパティで指定した命名パターンによって Amazon S3 バケット内で識別されたすべてのファイルのスキーマとジオメトリ タイプが同じでなければなりません。
- Amazon S3 および Azure Blob ストレージでは、ルート ノードによって参照されるオブジェクトの配列を含む JSON の取り込みは現在のところサポートされていません。