Amazon S3

La source Amazon S3 lit les enregistrements des fichiers stockés dans un paquet Amazon S3 et effectue une analyse dans ArcGIS Velocity.

Exemples

Voici quelques exemples d’utilisation de la source Amazon S3 :

• Un chercheur souhaite charger des centaines de fichiers de texte délimités stockés dans un paquet Amazon S3 vers Velocity pour effectuer une analyse.
• Un service SIG stocke les shapefiles de limites fréquemment utilisés dans un paquet Amazon S3 et souhaite charger le shapefile de limites de comté dans Velocity en tant que limite d’agrégation.

Remarques sur l’utilisation

Tenez compte des points suivants lorsque vous utilisez la source Amazon S3 :

• Tous les fichiers identifiés dans le paquet Amazon S3 par le schéma de dénomination défini pour le paramètre Dataset (Jeu de données) doivent avoir la même structure et le même type de géométrie. Si vous spécifiez un nom de dossier pour le paramètre Dataset (Jeu de données), tous les fichiers des répertoires doivent avoir la même structure et le même type de fichier.
• La clé d’accès secrète est chiffrée lors du premier enregistrement de l’analyse et stockée dans cet état.
• Lorsque vous spécifiez le chemin d’accès au dossier, utilisez des barres obliques (/).
• Après avoir configuré les propriétés de connexion à la source, consultez la rubrique Configurer les données en entrée pour savoir comment définir la structure et les propriétés clés.
• Si vous utilisez le mode d’accès Public pour vous connecter aux paquets Amazon S3 publics à l’aide de Velocity l’action List (Liste) du paquet Amazon S3public doit être attribuée à Everyone (public access) [Tous (accès public)] dans la liste de contrôle d’accès du paquet.
• Certaines actions Amazon S3 sont requises pour les règles utilisateur associées à la clé Amazon fournie, afin que Velocity puisse établir une connexion à un paquet Amazon S3 et aux données du paquet et du chemin d’accès indiqués.
  • L’action s3:ListBucket est requise pour le paquet spécifié.
  • L’action s3:GetObject est requise pour le chemin d’accès au dossier et les sous-ressources spécifiés (arn:aws:s3:::yourBucketName/*) pour qu’une source Amazon S3 puisse lire les données.

Paramètres

Paramètre	Description	Type de données
Clé d’accès	L’ID de la clé d’accès Amazon pour le paquet S3, par exemple, AKIAIOSFODNN7EXAMPLE. Velocity utilise la clé d’accès pour charger les sources de données spécifiées dans l’application. Pour plus de détails sur les clés d’accès Amazon, reportez-vous à la rubrique Accessing AWS using your AWS credentials de la documentation relative à AWS.	Chaîne
Clé secrète	La clé d’accès secrète Amazon pour le paquet S3, par exemple, wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY. Velocity utilise la clé d’accès pour charger les sources de données spécifiées dans l’application. La clé d’accès secrète est chiffrée lors du premier enregistrement de l’analyse et stockée dans cet état. Pour plus de détails sur les clés d’accès secrètes Amazon, reportez-vous à la rubrique Accessing AWS using your AWS credentials de la documentation relative à AWS.	Chaîne
Nom du paquet S3	Nom du paquet Amazon S3 contenant les fichiers à lire.	Chaîne
Chemin d’accès au dossier	Le chemin d’accès du dossier contenant les fichiers à charger dans Velocity. Si vous chargez les fichiers à partir du niveau racine d’un paquet Amazon S3, saisissez une barre oblique (/). Si les fichiers sont chargés à partir d’un dossier du paquet Amazon S3, entrez une barre oblique suivie du chemin d’accès au dossier, par exemple, /gis_data_folder/folder_containing_desired_dataset.	Chaîne
Jeu de données	Nom du fichier à lire, si un seul fichier est chargé, ou schéma identifiant un jeu de fichiers, suivi de l’extension du type de fichier. Pour créer un schéma identifiant un jeu de fichiers, utilisez un astérisque (*), seul ou associé à un nom de fichier partiel, comme caractère générique. Tous les fichiers identifiés par le schéma de dénomination doivent posséder la même structure et le même type de géométrie. Si vous chargez plusieurs fichiers ou des dossiers imbriqués, vous pouvez également définir le nom du dossier conteneur comme nom du jeu de données plutôt qu’un nom de fichier avec une extension. Si vous spécifiez un nom de dossier conteneur comme jeu de données, vous ne pouvez pas utiliser de caractères génériques, ni restreindre les types de fichier. Tous les fichiers du dossier spécifié sont ingérés, et doivent avoir le même type de fichier. Voici quelques exemples : Un seul fichier d’un dossier - filename.csv Tous les fichiers d’un dossier - *.shp Sélectionner les fichiers d’un dossier - sensor_data_201*.json Tous les fichiers d’un répertoire ou d’un répertoire de répertoires (sous-répertoires) - containingFolderName	Chaîne
Charger uniquement les fichiers récents	Indique si la source Amazon S3 charge tous les fichiers, ou seulement ceux créés ou modifiés depuis la dernière exécution de l’analyse. La valeur par défaut est false (faux), ce qui implique que, lors de chaque exécution de l’analyse, tous les fichiers du paquet et du chemin d’accès spécifiés portant le nom de jeu de données indiqué sont chargés. Lorsque la valeur true (vrai) est définie, seuls les fichiers modifiés ou créés sont chargés lors de chaque exécution de l’analyse. Ce paramètre ne peut être défini sur true (vrai) que pour les analyses de Big Data programmées. Lors de la première exécution d’une analyse de Big Data programmée avec ce paramètre défini sur true (vrai), l’analyse s’exécute entièrement sans charger aucun fichier. Lors des analyses suivantes, les fichiers dont la date de dernière modification est postérieure à la date de la dernière analyse programmée sont chargés.	Booléen

Considérations et limitations

Vous devez prendre en compte certains points lorsque vous utilisez la source Amazon S3 :

• Tous les fichiers identifiés dans le paquet Amazon S3 par le schéma de dénomination défini dans la propriété de jeu de données doivent posséder la même structure et le même type de géométrie.
• L’ingestion de données JSON avec une matrice d’objets référencée par un nœud racine n’est pas prise en charge actuellement pour la source Amazon S3 et la source Stockage Blob Azure.