Amazon S3

La source Amazon S3 lit les enregistrements des fichiers stockés dans un paquet Amazon S3 et effectue une analyse dans ArcGIS Velocity.

Exemples

  • Un chercheur souhaite charger des centaines de fichiers de texte délimités stockés dans un paquet Amazon S3 vers Velocity pour effectuer une analyse.
  • Un service SIG stocke les shapefiles de limites fréquemment utilisés dans un paquet Amazon S3 et souhaite charger le shapefile de limites de comté dans Velocity en tant que limite d’agrégation.

Remarques sur l’utilisation

  • Tous les fichiers identifiés dans le paquet Amazon S3 par le schéma de dénomination défini dans la propriété de jeu de données doivent posséder la même structure et le même type de géométrie.
  • La clé d’accès secrète est chiffrée lors du premier enregistrement de l’analyse et stockée dans cet état.
  • Lorsque vous spécifiez le chemin d’accès au dossier, utilisez des barres obliques (/).
  • Après avoir configuré les propriétés de connexion à la source, consultez la rubrique Configurer les données en entrée pour savoir comment définir la structure et les propriétés clés.
  • Si vous utilisez le mode d’accès Public pour vous connecter aux paquets Amazon S3 publics à l’aide de Velocity l’action List (Liste) du paquet Amazon S3public doit être attribuée à Everyone (public access) [Tous (accès public)] dans la liste de contrôle d’accès du paquet.
  • Certaines actions Amazon S3 sont requises pour les règles utilisateur associées à la clé Amazon fournie, afin que Velocity puisse établir une connexion à un paquet Amazon S3 et aux données du paquet et du chemin d’accès indiqués.
    • L’action s3:ListBucket est requise pour le paquet spécifié.
    • L’action s3:GetObject est requise pour le chemin d’accès au dossier et les sous-ressources spécifiés (arn:aws:s3:::yourBucketName/*) pour qu’une source Amazon S3 puisse lire les données.

Paramètres

ParamètreDescriptionType de données

Clé d’accès

L’ID de la clé d’accès Amazon pour le paquet S3, par exemple, AKIAIOSFODNN7EXAMPLE.

Velocity utilise la clé d’accès pour charger les sources de données spécifiées dans l’application.

Pour plus de détails sur les clés d’accès Amazon, reportez-vous à Comprendre et obtenir vos informations d’identification AWS dans la documentation relative à AWS.

Chaîne

Clé secrète

La clé d’accès secrète Amazon pour le paquet S3, par exemple, wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY.

Velocity utilise la clé d’accès pour charger les sources de données spécifiées dans l’application.

La clé d’accès secrète est chiffrée lors du premier enregistrement de l’analyse et stockée dans cet état.

Pour plus de détails sur les clés d’accès secrètes Amazon, reportez-vous à Comprendre et obtenir vos informations d’identification AWS dans la documentation relative à AWS.

Chaîne

Nom du paquet S3

Nom du paquet Amazon S3 contenant les fichiers à lire.

Chaîne

Chemin d’accès au dossier

Le chemin d’accès du dossier contenant les fichiers à charger dans Velocity.

  • Si les fichiers sont chargés à partir du niveau racine d’un paquet Amazon S3, entrez une barre oblique (/).
  • Si les fichiers sont chargés à partir d’un dossier du paquet Amazon S3, entrez une barre oblique suivie du chemin d’accès au dossier, par exemple, /gis_data_folder/folder_containing_desired_dataset.

Chaîne

Jeu de données

Nom du fichier à lire, si un seul fichier est chargé, ou schéma identifiant un jeu de fichiers, suivi de l’extension du type de fichier.

Pour créer un schéma identifiant un jeu de fichiers, utilisez un astérisque (*), seul ou associé à un nom de fichier partiel, en tant que caractère générique.

Tous les fichiers identifiés par le schéma de dénomination doivent posséder la même structure et le même type de géométrie. Voici quelques exemples :

  • Un seul fichier d’un dossier : filename.csv
  • Tous les fichiers d’un dossier : *.shp
  • Sélectionner les fichiers d’un dossier : sensor_data_201*.json

Chaîne

Charger uniquement les fichiers récents

Indique si la source Amazon S3 charge tous les fichiers, ou seulement ceux créés ou modifiés depuis la dernière exécution de l’analyse.

  • La valeur par défaut est false (faux), ce qui implique que, lors de chaque exécution de l’analyse, tous les fichiers du paquet et du chemin d’accès spécifiés portant le nom de jeu de données indiqué sont chargés.
  • Lorsque la valeur true (vrai) est définie, seuls les fichiers modifiés ou créés sont chargés lors de chaque exécution de l’analyse.

Ce paramètre ne peut être défini sur true (vrai) que pour les analyses de Big Data programmées.

Lors de la première exécution d’une analyse de Big Data programmée avec ce paramètre défini sur true (vrai), l’analyse s’exécute entièrement sans charger aucun fichier. Lors des analyses suivantes, les fichiers dont la date de dernière modification est postérieure à la date de la dernière analyse programmée sont chargés.

Booléen

Considérations et limitations

  • Tous les fichiers identifiés dans le paquet Amazon S3 par le schéma de dénomination défini dans la propriété de jeu de données doivent posséder la même structure et le même type de géométrie.
  • L’ingestion de données JSON avec une matrice d’objets référencée par un nœud racine n’est actuellement pas prise en charge pour Amazon S3 ou le stockage Azure Blob.