Créer un fichier de connexion au stockage Cloud (Gestion des données)

Synthèse

Crée un fichier de connexion pour le stockage cloud pris en charge par ArcGIS. Cet outil permet aux outils de géotraitement raster existants d’écrire des jeux de données au format CRF (Cloud Raster Format) dans le compartiment de stockage Cloud ou de lire des jeux de données raster (pas uniquement au format CRF) stockés dans le stockage Cloud en entrée. L’outil crée un fichier de connexion au stockage Cloud que vous pouvez utiliser afin d’accéder aux fichiers Apache Parquet pour l’appariement.

Utilisation

  • Pour exécuter cet outil, vous devez fournir les informations nécessaires à l’établissement d’une connexion au stockage Cloud, telles que l’ID de la clé d’accès, la chaîne de la clé d’accès secrète et le nom du compartiment. Vous pouvez également utiliser d’autres méthodes d’authentification à l’aide du paramètre Options du fournisseur de services.

    En savoir plus sur la connexion aux répertoires Cloud

  • L’outil génère un fichier de connexion au stockage cloud binaire au format ArcGIS Cloud Storage (.acs).

  • Lorsque vous accédez à un jeu de données raster stocké dans le stockage Cloud, vous pouvez le référencer via un chemin d’accès au fichier, tel que c:/temp/amazons3.acs/someraster. Si le jeu de données est stocké dans un dossier du compartiment, le nom du dossier doit être inclus dans le chemin, par exemple, c:/temp/amazons3.acs/foldername/someraster.

  • Cet outil prend en charge les connexions aux compartiments Amazon Simple Storage Service (S3), aux conteneurs de stockage Microsoft Azure Blob, à Microsoft Azure Data Lake Storage Storage Gen2, aux compartiments Alibaba Cloud Object Storage Service (OSS), Google Cloud Storage Service (GCS), WebHDFS, MinIO et Ozone Object Storage Service. Seul Amazon S3 est pris en charge lors de l’accès à un fichier Parquet.

  • Une URL de point de terminaison personnalisée permet de prendre en charge un stockage d’objet compatible S3 ou un enregistrement CNAME utilisé pour des données raster.

  • L’outil valide les identifiants de connexion fournis lors de l’exécution. Si la connexion ne peut pas être établie, l’exécution de l’outil échoue.

  • L’authentification OAuth 2.0 avec Azure Active Directory est prise en charge avec la connexion interactive d’utilisateur pour Azure et Azure Data Lake Storage Gen2. L’authentification OAuth 2.0 pour Google Cloud Storage Service (GCS) est également prise en charge. Reportez-vous à la rubrique Se connecter aux fournisseurs d’authentification depuis ArcGIS AllSource pour la configuration. Une fois la configuration effectuée et l’utilisateur connecté, le paramètre d’authentification s’active pour Google, Azure et Azure Data Lake Storage Gen2. La région et le point de terminaison sont extraits de la configuration.

  • Pour les identités gérées attribuées par l’utilisateur à l’aide de Entra ID sur une machine virtuelle Azure, une assistance est disponible pour Azure et Azure Data Lake Storage Gen2.

  • Un contrôle d’accès basé sur les rôles (RBAC) est disponible pour les fournisseurs de Cloud Amazon, Azure et Google. Si vous laissez vide le champ de tous les paramètres d’authentification tout en utilisant Amazon Elastic Compute Cloud (EC2), une machine virtuelle Azure ou Google Compute Engine, ArcGIS AllSource peut accéder au stockage Blob avec les rôles IAM ou la fonction Azure RBAC. Pour Amazon, IMDSv1 et IMDSv2 sont pris en charge.

    Microsoft Azure Data Lake Storage Gen2 suit les mêmes options qu’Azure mais offre des opérations atomiques et une prise en charge réelle des répertoires à l’aide d’un point de terminaison DFS. Certaines erreurs de réseau survenant pendant des opérations cloud se reproduisent à la suite d’un backoff exponentiel.

    Pour connaître les aspects spécifiques aux performances et obtenir d’autres informations, reportez-vous à la documentation Systèmes de fichiers virtuels GDAL.

Paramètres

ÉtiquetteExplicationType de données
Emplacement du fichier de connexion

Chemin d’accès au dossier dans lequel le fichier de connexion (.acs) est créé.

Folder
Nom du fichier de connexion

Nom du fichier de connexion au stockage cloud.

String
Fournisseur de services

Indique le fournisseur de services du stockage Cloud qui sera utilisé.

  • AzurLe fournisseur de services sera Microsoft Azure.
  • AmazonLe fournisseur de services sera Amazon S3. Il s’agit actuellement du seul fournisseur pris en charge pour l’accès à un fichier Parquet.
  • GoogleLe fournisseur de services sera Google Cloud Storage.
  • AlibabaLe fournisseur de services sera Alibaba Cloud Storage.
  • WebHDFSLe fournisseur de services sera WebHDFS.
  • MinIOLe fournisseur de services sera MinIO.
  • Azure Data LakeLe fournisseur de services sera Microsoft Azure Data Lake Storage.
  • OzoneLe fournisseur de services sera Ozone.
  • WebFournisseurs de services pour l’accès à des URL HTTP génériques.
String
Nom du compartiment (conteneur)

Nom du conteneur de stockage Cloud dans lequel le jeu de données raster ou le fichier Parquet est stocké. Si vous utilisez cet emplacement pour la sortie des outils de géotraitement raster, il s’agit du conteneur dans lequel le jeu de données raster en sortie est stocké. De nombreux fournisseurs Cloud désignent ce conteneur sous le nom de compartiment.

String
ID de la clé d’accès (nom du compte)
(Facultatif)

Chaîne d’ID de la clé d’accès correspondant au type de stockage cloud donné. Il peut également s’agir du nom du compte, comme avec Azure.

String
Clé d’accès secrète (clé du compte)
(Facultatif)

Chaîne de la clé d’accès secrète qui permet d’authentifier la connexion au stockage cloud.

Encrypted String
Région (environnement)
(Facultatif)

Chaîne de la région du stockage cloud. Si elle est fournie, la valeur doit utiliser le format défini par le choix du stockage cloud. Par défaut, il s’agit du compte par défaut du fournisseur cloud sélectionné.

String
Point de terminaison du service
(Facultatif)

Point de terminaison de service (URI) du stockage Cloud, par exemple oss-us-west-1.aliyuncs.com. Si aucune valeur n’est fournie, l’extrémité par défaut du type de stockage cloud sélectionné est utilisée. Le point de terminaison redirigé CNAME peut également être utilisé, le cas échéant.

String
Options du fournisseur de services
(Facultatif)

Options de configuration inhérentes au type spécifique de service cloud. Certains services proposent des options et d’autres non. Vous devez définir ce paramètre uniquement si vous souhaitez activer les options. Seules quelques options sont prises en charge lorsque vous créez un fichier de connexion au stockage Cloud afin d’accéder à un fichier Parquet, comme indiqué dans les descriptions suivantes.

  • Azure et Microsoft Azure Data Lake Storage
    • AZURE_STORAGE_SAS_TOKEN : spécifiez une signature d’accès partagé. Assurez-vous que sa valeur est codée au format URL et ne contient pas de caractères de début « ? » ou « & ». Lorsque vous utilisez cette option, le champ du paramètre Clé d’accès secrète (clé de compte) doit être vide.
    • AZURE_NO_SIGN_REQUEST : se connecte de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. Lorsque vous utilisez cette option, le champ du paramètre Clé d’accès secrète (clé de compte) doit être vide. La valeur par défaut est False.
    • AZURE_STORAGE_CONNECTION_STRING : spécifie une chaîne de connexion Azure Storage. Cette chaîne incorpore le nom de compte, la clé et le point de terminaison. Lorsque vous utilisez cette option, les paramètres ID de clé d’accès (nom de compte) et Clé d’accès secrète (clé de compte) doivent être vides.
    • CPL_AZURE_USE_HTTPS : définissez sur False pour utiliser des requêtes HTTP. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes HTTPS. La valeur par défaut est True.
    • AZURE_IMDS_OBJECT_ID : indiquez l’ID d’objet de l’identité gérée authentifiée à l’aide du service de métadonnées d’instance Azure (IMDS) si plusieurs identités gérées attribuées par l’utilisateur sont configurées sur la machine virtuelle Azure.
    • AZURE_IMDS_CLIENT_ID : indiquez l’ID de client de l’identité gérée authentifiée à l’aide du service de métadonnées d’instance Azure (IMDS) si plusieurs identités gérées attribuées par l’utilisateur sont configurées sur la machine virtuelle Azure.
    • AZURE_IMDS_MSI_RES_ID : indiquez l’ID de ressource de l’identité gérée authentifiée à l’aide du service de métadonnées d’instance Azure (IMDS) si plusieurs identités gérées attribuées par l’utilisateur sont configurées sur la machine virtuelle Azure.
  • Amazon et MinIO
    • AWS_NO_SIGN_REQUEST : se connecte de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. La valeur par défaut est False. Cette option est prise en charge pour l’accès à un fichier Parquet.
    • AWS_SESSION_TOKEN : spécifie des identifiants de connexions temporaires. Cette option est prise en charge pour l’accès à un fichier Parquet.
    • AWS_DEFAULT_PROFILE : les profils d’identifiants de connexion AWS sont automatiquement utilisés si la clé d’accès ou l’ID est manquant. Cette option peut être utilisée pour spécifier le profil à utiliser. Cette option est prise en charge pour l’accès à un fichier Parquet.
    • AWS_REQUEST_PAYER : vous pouvez accéder aux compartiments Le demandeur paye en définissant cette option sur Demandeur.
    • AWS_Virtual_Hosting : si vous utilisez des fournisseurs de Cloud Amazon S3 ou compatibles S3 qui ne prennent en charge que des requêtes de type chemin d’accès, définissez cette option sur True. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. La valeur par défaut est True.
    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE : certaines anciennes implémentations compatibles avec S3 ne prennent pas en charge l’opération de suppression en bloc. Définissez cette option sur False pour ces fournisseurs. La valeur par défaut est True.
    • AWS_HTTPS : définissez sur False pour utiliser des requêtes HTTP. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes HTTPS. La valeur par défaut est True.
  • Google
    • GS_NO_SIGN_REQUEST : se connecte de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. La valeur par défaut est True.
    • GS_USER_PROJECT : vous pouvez accéder aux compartiments Le demandeur paye en définissant des clés OAuth2 et un projet à facturer. Configurez le projet avec cette option et définissez des clés OAuth2 à l’aide d’autres options. N’utilisez pas les clés HMAC comme clé d’accès secrète ou comme ID.
    • GS_OAUTH2_REFRESH_TOKEN : Indiquez un Jeton d’accès d’actualisation OAuth2. Définissez les identifiants de connexion au client OAuth2 avec GS_OAUTH2_CLIENT_ID et GS_OAUTH2_CLIENT_SECRET.
    • GOOGLE_APPLICATION_CREDENTIALS : indiquez les identifiants de connexion OAuth2 du compte de service à l’aide d’un fichier .json contenant une clé privée et une adresse électronique du client.
    • GS_OAUTH2_ PRIVATE_KEY : indiquez les identifiants de connexion OAuth2 du compte de service avec une chaîne de clé privée. GS_AUTH2_CLIENT_EMAIL doit être défini.
    • GS_OAUTH2_ PRIVATE_KEY_FILE : indiquez les identifiants de connexion OAuth2 du compte de service avec une clé privée issue d’un fichier. GS_AUTH2_CLIENT_EMAIL doit être défini.
    • GS_AUTH2_CLIENT_EMAIL : indiquez les identifiants de connexion OAuth2 du compte de service avec une adresse électronique du client.
    • GS_AUTH2_SCOPE : indiquez la portée OAuth2 du compte de service. Les valeurs valides sont https://www.googleapis.com/auth/devstorage.read_write (par défaut ) et https://www.googleapis.com/auth/devstorage.read_only.
    • GDAL_HTTP_HEADER_FILE : indiquez les identifiants de connexion d’authentification de porteur stockés dans un fichier externe.
  • Alibaba
    • OSS_Virtual_Hosting : si vous utilisez des fournisseurs de Cloud Alibaba ou compatibles S3 qui ne prennent en charge que des requêtes de type chemin d’accès, définissez cette option sur True. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. La valeur par défaut est True.
    • OSS_HTTPS : définissez sur False pour utiliser des requêtes HTTP. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes HTTPS. La valeur par défaut est True.
  • WebHDFS
    • WEBHDFS_REPLICATION (nombre entier) : la valeur de réplication est utilisée pour créer un fichier.
    • WEBHDFS_PERMISSION (décimale) : une marque d’autorisation est utilisée pour créer un fichier.

Si plusieurs paramètres d’authentification sont fournis, la précédente est la suivante :

  • Azure : AZURE_STORAGE_CONNECTION_STRING, nom ou clé de compte,AZURE_STORAGE_SAS_TOKEN, AZURE_NO_SIGN_REQUEST ou RBAC.
  • Amazon : AWS_NO_SIGN_REQUEST, ID ou clé d’accès AWS_SESSION_TOKEN, AWS Credential Profile ou IAM Role.
  • Google : GS_NO_SIGN_REQUEST, ID ou clé d’accès, GDAL_HTTP_HEADER_FILE, (GS_OAUTH2_REFRESH_TOKEN or GS_OAUTH2_CLIENT_ID and GS_OAUTH2_CLIENT_SECRET), GOOGLE_APPLICATION_CREDENTIALS, (GS_OAUTH2_PRIVATE_KEY or GS_OAUTH2_CLIENT_EMAIL), (GS_OAUTH2_PRIVATE_KEY_FILE or GS_OAUTH2_CLIENT_EMAIL) ou IAM Role.
  • Ozone
    • AWS_DEFAULT_PROFILE : les profils d’identifiants de connexion AWS sont automatiquement utilisés si la clé d’accès ou l’ID est manquant. Cette option peut être utilisée pour spécifier le profil à utiliser.
    • AWS_Virtual_Hosting : si vous utilisez des fournisseurs de Cloud Amazon S3 ou compatibles S3 qui ne prennent en charge que des requêtes de type chemin d’accès, définissez cette option sur True. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. La valeur par défaut est True.
    • AWS_HTTPS : définissez sur False pour utiliser des requêtes HTTP. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes HTTPS. La valeur par défaut est True.
    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE : certaines anciennes implémentations compatibles avec S3 ne prennent pas en charge l’opération de suppression en bloc. Définissez cette option sur False pour ces fournisseurs. La valeur par défaut est True.
    • x-amz-storage-class : spécifiez REDUCED_REDUNDANCY pour écrire dans un seul conteneur d’ozone car il contient un nœud de données unique.
  • Web

    Lorsque vous utilisez l’option Web, vous pouvez accéder à un point de terminaison HTTP/HTTPS authentifié à l’aide d’un fichier ACS. Les paramètres d’authentification sont transmis en tant qu’options du fournisseur et sont utilisés pour accéder au point de terminaison.

    • GDAL_HTTP_USERPWD : utilisateur et mot de passe HTTP à utiliser pour la connexion. Doit être au format [user name]:[password]. Utilisez GDAL_HTTP_AUTH pour indiquer la méthode d’authentification.
    • GDAL_HTTP_NETRC_FILE : définissez l’emplacement d’un fichier .netrc.
    • GDAL_HTTP_HEADERS : spécifiez les en-têtes dans une liste séparée par des virgules de key:value pairs.
    • GDAL_HTTP_BEARER : définissez le jeton d’accès du porteur HTTP OAuth 2.0 à utiliser pour la connexion. Doit être utilisé avec GDAL_HTTP_AUTH=BEARER.
    • GDAL_HTTP_AUTH : sélectionnez le type d’authentification à utiliser – [BASIC/NTLM/NEGOTIATE/ANY/ANYSAFE/BEARER].
    • GDAL_HTTP_SSLCERT : nom de fichier du certificat client SSL pour l’authentification PKI.
    • GDAL_HTTP_SSLKEY : chemin d’accès au fichier de clé privée du certificat client TLS et SSL pour l’authentification PKI.
    • GDAL_HTTP_KEYPASSWD : phrase secrère de la clé privée de GDAL_HTTP_SSLKEY.

Outre les options de fournisseur répertoriées ci-dessus, il est possible d’utiliser l’option ARC_DEEP_CRAWL avec tous les fournisseurs de services. Si elle est définie sur True, cette option permet d’identifier les fichiers CRF sans extension et les produits raster compatibles dans le Cloud. Il s’agit d’une opération de grande ampleur et il est recommandé de définir cette option sur False pour une analyse et une navigation plus rapides dans le catalogue. La valeur par défaut est False.

Les services de distribution de jetons personnalisés (par exemple, la collecte de données de Planetary Computer) peuvent être authentifiés à l’aide des options de fournisseur ARC_TOKEN_SERVICE_API (URL du fournisseur de jetons) et ARC_TOKEN_OPTION_NAME (type de jeton du fournisseur de services).

Remarque :

L’option GDAL_DISABLE_READDIR_ON_OPEN est disponible pour tous les fournisseurs de services. Pour améliorer les performances du chargement des rasters basés sur le Cloud, cette option est définie sur NO par défaut. Si le raster réside dans un dossier qui contient plus de 30 000 éléments, définissez cette option sur YES.

Value Table
Dossier
(Facultatif)

Dossier indiqué par le paramètre Nom du compartiment (conteneur) dans lequel le jeu de données raster ou le fichier Parquet est stocké. Si vous utilisez cet emplacement pour la sortie des outils de géotraitement raster, il s’agit du dossier dans lequel le jeu de données raster en sortie est stocké.

String
Authentification
(Facultatif)

Nom de connexion de l’authentification OAuth 2.0.

Une connexion valide doit être configurée dans la boîte de dialogue Options de l’onglet Authentication (Authentification).

String

Sortie obtenue

ÉtiquetteExplicationType de données
Fichier de connexion en sortie

Chemin d’accès du fichier de connexion au stockage cloud en sortie.

File

arcpy.management.CreateCloudStorageConnectionFile(out_folder_path, out_name, service_provider, bucket_name, {access_key_id}, {secret_access_key}, {region}, {end_point}, {config_options}, {folder}, {authentication})
NomExplicationType de données
out_folder_path

Chemin d’accès au dossier dans lequel le fichier de connexion (.acs) est créé.

Folder
out_name

Nom du fichier de connexion au stockage cloud.

String
service_provider

Indique le fournisseur de services du stockage Cloud qui sera utilisé.

  • AZURELe fournisseur de services sera Microsoft Azure.
  • AMAZONLe fournisseur de services sera Amazon S3. Il s’agit actuellement du seul fournisseur pris en charge pour l’accès à un fichier Parquet.
  • GOOGLELe fournisseur de services sera Google Cloud Storage.
  • ALIBABALe fournisseur de services sera Alibaba Cloud Storage.
  • WEBHDFSLe fournisseur de services sera WebHDFS.
  • MINIOLe fournisseur de services sera MinIO.
  • AZUREDATALAKELe fournisseur de services sera Microsoft Azure Data Lake Storage.
  • OZONELe fournisseur de services sera Ozone.
  • WEBFournisseurs de services pour l’accès à des URL HTTP génériques.
String
bucket_name

Nom du conteneur de stockage Cloud dans lequel le jeu de données raster ou le fichier Parquet est stocké. Si vous utilisez cet emplacement pour la sortie des outils de géotraitement raster, il s’agit du conteneur dans lequel le jeu de données raster en sortie est stocké. De nombreux fournisseurs Cloud désignent ce conteneur sous le nom de compartiment.

String
access_key_id
(Facultatif)

Chaîne d’ID de la clé d’accès correspondant au type de stockage cloud donné. Il peut également s’agir du nom du compte, comme avec Azure.

String
secret_access_key
(Facultatif)

Chaîne de la clé d’accès secrète qui permet d’authentifier la connexion au stockage cloud.

Encrypted String
region
(Facultatif)

Chaîne de la région du stockage cloud. Si elle est fournie, la valeur doit utiliser le format défini par le choix du stockage cloud. Par défaut, il s’agit du compte par défaut du fournisseur cloud sélectionné.

String
end_point
(Facultatif)

Point de terminaison de service (URI) du stockage Cloud, par exemple oss-us-west-1.aliyuncs.com. Si aucune valeur n’est fournie, l’extrémité par défaut du type de stockage cloud sélectionné est utilisée. Le point de terminaison redirigé CNAME peut également être utilisé, le cas échéant.

String
config_options
[config_options,...]
(Facultatif)

Options de configuration inhérentes au type spécifique de service cloud. Certains services proposent des options et d’autres non. Vous devez définir ce paramètre uniquement si vous souhaitez activer les options. Seules quelques options sont prises en charge lorsque vous créez un fichier de connexion au stockage Cloud afin d’accéder à un fichier Parquet, comme indiqué dans les descriptions suivantes.

  • Azure et Microsoft Azure Data Lake Storage
    • AZURE_STORAGE_SAS_TOKEN : spécifiez une signature d’accès partagé. Assurez-vous que sa valeur est codée au format URL et ne contient pas de caractères de début « ? » ou « & ». Lorsque vous utilisez cette option, le champ du paramètre Clé d’accès secrète (clé de compte) doit être vide.
    • AZURE_NO_SIGN_REQUEST : se connecte de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. Lorsque vous utilisez cette option, le champ du paramètre Clé d’accès secrète (clé de compte) doit être vide. La valeur par défaut est False.
    • AZURE_STORAGE_CONNECTION_STRING : spécifie une chaîne de connexion Azure Storage. Cette chaîne incorpore le nom de compte, la clé et le point de terminaison. Lorsque vous utilisez cette option, les paramètres ID de clé d’accès (nom de compte) et Clé d’accès secrète (clé de compte) doivent être vides.
    • CPL_AZURE_USE_HTTPS : définissez sur False pour utiliser des requêtes HTTP. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes HTTPS. La valeur par défaut est True.
    • AZURE_IMDS_OBJECT_ID : indiquez l’ID d’objet de l’identité gérée authentifiée à l’aide du service de métadonnées d’instance Azure (IMDS) si plusieurs identités gérées attribuées par l’utilisateur sont configurées sur la machine virtuelle Azure.
    • AZURE_IMDS_CLIENT_ID : indiquez l’ID de client de l’identité gérée authentifiée à l’aide du service de métadonnées d’instance Azure (IMDS) si plusieurs identités gérées attribuées par l’utilisateur sont configurées sur la machine virtuelle Azure.
    • AZURE_IMDS_MSI_RES_ID : indiquez l’ID de ressource de l’identité gérée authentifiée à l’aide du service de métadonnées d’instance Azure (IMDS) si plusieurs identités gérées attribuées par l’utilisateur sont configurées sur la machine virtuelle Azure.
  • Amazon et MinIO
    • AWS_NO_SIGN_REQUEST : se connecte de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. La valeur par défaut est False. Cette option est prise en charge pour l’accès à un fichier Parquet.
    • AWS_SESSION_TOKEN : spécifie des identifiants de connexions temporaires. Cette option est prise en charge pour l’accès à un fichier Parquet.
    • AWS_DEFAULT_PROFILE : les profils d’identifiants de connexion AWS sont automatiquement utilisés si la clé d’accès ou l’ID est manquant. Cette option peut être utilisée pour spécifier le profil à utiliser. Cette option est prise en charge pour l’accès à un fichier Parquet.
    • AWS_REQUEST_PAYER : vous pouvez accéder aux compartiments Le demandeur paye en définissant cette option sur Demandeur.
    • AWS_Virtual_Hosting : si vous utilisez des fournisseurs de Cloud Amazon S3 ou compatibles S3 qui ne prennent en charge que des requêtes de type chemin d’accès, définissez cette option sur True. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. La valeur par défaut est True.
    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE : certaines anciennes implémentations compatibles avec S3 ne prennent pas en charge l’opération de suppression en bloc. Définissez cette option sur False pour ces fournisseurs. La valeur par défaut est True.
    • AWS_HTTPS : définissez sur False pour utiliser des requêtes HTTP. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes HTTPS. La valeur par défaut est True.
  • Google
    • GS_NO_SIGN_REQUEST : se connecte de manière anonyme aux compartiments (conteneurs) ne nécessitant pas d’accès authentifié. La valeur par défaut est True.
    • GS_USER_PROJECT : vous pouvez accéder aux compartiments Le demandeur paye en définissant des clés OAuth2 et un projet à facturer. Configurez le projet avec cette option et définissez des clés OAuth2 à l’aide d’autres options. N’utilisez pas les clés HMAC comme clé d’accès secrète ou comme ID.
    • GS_OAUTH2_REFRESH_TOKEN : Indiquez un Jeton d’accès d’actualisation OAuth2. Définissez les identifiants de connexion au client OAuth2 avec GS_OAUTH2_CLIENT_ID et GS_OAUTH2_CLIENT_SECRET.
    • GOOGLE_APPLICATION_CREDENTIALS : indiquez les identifiants de connexion OAuth2 du compte de service à l’aide d’un fichier .json contenant une clé privée et une adresse électronique du client.
    • GS_OAUTH2_ PRIVATE_KEY : indiquez les identifiants de connexion OAuth2 du compte de service avec une chaîne de clé privée. GS_AUTH2_CLIENT_EMAIL doit être défini.
    • GS_OAUTH2_ PRIVATE_KEY_FILE : indiquez les identifiants de connexion OAuth2 du compte de service avec une clé privée issue d’un fichier. GS_AUTH2_CLIENT_EMAIL doit être défini.
    • GS_AUTH2_CLIENT_EMAIL : indiquez les identifiants de connexion OAuth2 du compte de service avec une adresse électronique du client.
    • GS_AUTH2_SCOPE : indiquez la portée OAuth2 du compte de service. Les valeurs valides sont https://www.googleapis.com/auth/devstorage.read_write (par défaut ) et https://www.googleapis.com/auth/devstorage.read_only.
    • GDAL_HTTP_HEADER_FILE : indiquez les identifiants de connexion d’authentification de porteur stockés dans un fichier externe.
  • Alibaba
    • OSS_Virtual_Hosting : si vous utilisez des fournisseurs de Cloud Alibaba ou compatibles S3 qui ne prennent en charge que des requêtes de type chemin d’accès, définissez cette option sur True. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. La valeur par défaut est True.
    • OSS_HTTPS : définissez sur False pour utiliser des requêtes HTTP. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes HTTPS. La valeur par défaut est True.
  • WebHDFS
    • WEBHDFS_REPLICATION (nombre entier) : la valeur de réplication est utilisée pour créer un fichier.
    • WEBHDFS_PERMISSION (décimale) : une marque d’autorisation est utilisée pour créer un fichier.

Si plusieurs paramètres d’authentification sont fournis, la précédente est la suivante :

  • Azure : AZURE_STORAGE_CONNECTION_STRING, nom ou clé de compte,AZURE_STORAGE_SAS_TOKEN, AZURE_NO_SIGN_REQUEST ou RBAC.
  • Amazon : AWS_NO_SIGN_REQUEST, ID ou clé d’accès AWS_SESSION_TOKEN, AWS Credential Profile ou IAM Role.
  • Google : GS_NO_SIGN_REQUEST, ID ou clé d’accès, GDAL_HTTP_HEADER_FILE, (GS_OAUTH2_REFRESH_TOKEN or GS_OAUTH2_CLIENT_ID and GS_OAUTH2_CLIENT_SECRET), GOOGLE_APPLICATION_CREDENTIALS, (GS_OAUTH2_PRIVATE_KEY or GS_OAUTH2_CLIENT_EMAIL), (GS_OAUTH2_PRIVATE_KEY_FILE or GS_OAUTH2_CLIENT_EMAIL) ou IAM Role.
  • Ozone
    • AWS_DEFAULT_PROFILE : les profils d’identifiants de connexion AWS sont automatiquement utilisés si la clé d’accès ou l’ID est manquant. Cette option peut être utilisée pour spécifier le profil à utiliser.
    • AWS_Virtual_Hosting : si vous utilisez des fournisseurs de Cloud Amazon S3 ou compatibles S3 qui ne prennent en charge que des requêtes de type chemin d’accès, définissez cette option sur True. Il est recommandé d’utiliser l’hébergement virtuel s’il est pris en charge. La valeur par défaut est True.
    • AWS_HTTPS : définissez sur False pour utiliser des requêtes HTTP. Il se peut que certains serveurs soient configurés pour ne prendre en charge que les requêtes HTTPS. La valeur par défaut est True.
    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE : certaines anciennes implémentations compatibles avec S3 ne prennent pas en charge l’opération de suppression en bloc. Définissez cette option sur False pour ces fournisseurs. La valeur par défaut est True.
    • x-amz-storage-class : spécifiez REDUCED_REDUNDANCY pour écrire dans un seul conteneur d’ozone car il contient un nœud de données unique.
  • Web

    Lorsque vous utilisez l’option Web, vous pouvez accéder à un point de terminaison HTTP/HTTPS authentifié à l’aide d’un fichier ACS. Les paramètres d’authentification sont transmis en tant qu’options du fournisseur et sont utilisés pour accéder au point de terminaison.

    • GDAL_HTTP_USERPWD : utilisateur et mot de passe HTTP à utiliser pour la connexion. Doit être au format [user name]:[password]. Utilisez GDAL_HTTP_AUTH pour indiquer la méthode d’authentification.
    • GDAL_HTTP_NETRC_FILE : définissez l’emplacement d’un fichier .netrc.
    • GDAL_HTTP_HEADERS : spécifiez les en-têtes dans une liste séparée par des virgules de key:value pairs.
    • GDAL_HTTP_BEARER : définissez le jeton d’accès du porteur HTTP OAuth 2.0 à utiliser pour la connexion. Doit être utilisé avec GDAL_HTTP_AUTH=BEARER.
    • GDAL_HTTP_AUTH : sélectionnez le type d’authentification à utiliser – [BASIC/NTLM/NEGOTIATE/ANY/ANYSAFE/BEARER].
    • GDAL_HTTP_SSLCERT : nom de fichier du certificat client SSL pour l’authentification PKI.
    • GDAL_HTTP_SSLKEY : chemin d’accès au fichier de clé privée du certificat client TLS et SSL pour l’authentification PKI.
    • GDAL_HTTP_KEYPASSWD : phrase secrère de la clé privée de GDAL_HTTP_SSLKEY.

Outre les options de fournisseur répertoriées ci-dessus, il est possible d’utiliser l’option ARC_DEEP_CRAWL avec tous les fournisseurs de services. Si elle est définie sur True, cette option permet d’identifier les fichiers CRF sans extension et les produits raster compatibles dans le Cloud. Il s’agit d’une opération de grande ampleur et il est recommandé de définir cette option sur False pour une analyse et une navigation plus rapides dans le catalogue. La valeur par défaut est False.

Les services de distribution de jetons personnalisés (par exemple, la collecte de données de Planetary Computer) peuvent être authentifiés à l’aide des options de fournisseur ARC_TOKEN_SERVICE_API (URL du fournisseur de jetons) et ARC_TOKEN_OPTION_NAME (type de jeton du fournisseur de services).

Remarque :

L’option GDAL_DISABLE_READDIR_ON_OPEN est disponible pour tous les fournisseurs de services. Pour améliorer les performances du chargement des rasters basés sur le Cloud, cette option est définie sur NO par défaut. Si le raster réside dans un dossier qui contient plus de 30 000 éléments, définissez cette option sur YES.

Value Table
folder
(Facultatif)

Dossier indiqué par le paramètre bucket_name dans lequel le jeu de données raster ou le fichier Parquet est stocké. Si vous utilisez cet emplacement pour la sortie des outils de géotraitement raster, il s’agit du dossier dans lequel le jeu de données raster en sortie est stocké.

String
authentication
(Facultatif)

Nom de connexion de l’authentification OAuth 2.0.

String

Sortie obtenue

NomExplicationType de données
out_connection

Chemin d’accès du fichier de connexion au stockage cloud en sortie.

File

Exemple de code

Exemple 1 d’utilisation de l’outil CreateCloudStorageConnectionFile (fenêtre Python)

Il s’agit d’un exemple Python d’utilisation de la fonction CreateCloudStorageConnectionFile.

#====================================
# CreateCloudStorageConnectionFile
# Usage:
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     { {Name} {Value}; {Name} {Value}...})
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     {config_options})

import arcpy

# Create connection to open public bucket with requester pay option
arcpy.management.CreateCloudStorageConnectionFile(
    "C:/Workspace/connections", "awss3storage.acs", "AMAZON", "publicrasterstore",
    config_options="AWS_REQUEST_PAYER requester")

# Create connection to secured Azure bucket
arcpy.management.CreateCloudStorageConnectionFile(
    "C:/Workspace/connections", "azurestorage.acs", "AZURE", "rasterstore", "imageaccount",
    "NOGEOU1238987OUOUNOQEWQWEIO")

# Create Alibaba connection with end points
arcpy.management.CreateCloudStorageConnectionFile(
    "C:/Workspace/connections", "aliyun.acs", "ALIBABA", "rasterstore", "AYOUER9273PJJNY",
"NOGEOU1238987OUOUNOQEWQWEIO", end_point="rasterstore.oss-us-west-1.aliyuncs.com")
Exemple 2 d’utilisation de la fonction CreateCloudStorageConnectionFile (script autonome)

Il s’agit d’un exemple Python d’utilisation de la fonction CreateCloudStorageConnectionFile.

#====================================
# CreateCloudStorageConnectionFile
# Usage:
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     { {Name} {Value}; {Name} {Value}...})
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     {config_options})

import arcpy

outfolder = "C:/Workspace/connections"
connectname = "googlecloudos.acs"
provider = "GOOGLE"
accesskey = "AYOUER9273PJJNY"
secretkey = "NOGEOU1238987OUOUNOQEWQWEIO"
bucketname = "rasterstore"

# Create connection to Google cloud object storage
arcpy.management.CreateCloudStorageConnectionFile(
outfolder, connectname, provider, bucketname, accesskey, secretkey)
Exemple 3 d’utilisation de la fonction CreateCloudStorageConnectionFile (fenêtre Python)

Il s’agit d’un exemple Python d’utilisation de la fonction CreateCloudStorageConnectionFile pour se connecter aux services de distribution de jetons.

#====================================
# CreateCloudStorageConnectionFile

import arcpy

outfolder = "C:/Workspace/connections"
connectname = "planetary_landsat.acs"
provider = "Azure"
accesskey = "landsateuwest"
secretkey = ""
bucketname = "landsat-c2"
folder = ""
region = ""
endpoint = ""
config_options= "ARC_TOKEN_OPTION_NAME AZURE_STORAGE_SAS_TOKEN; ARC_TOKEN_SERVICE_API https://planetarycomputer.microsoft.com/api/sas/v1/token/landsateuwest/landsat-c2"

# Create connection to planetary computer landsat data collection

print(arcpy.management.CreateCloudStorageConnectionFile(outfolder, connectname, provider, bucketname, accesskey, secretkey, region, endpoint, config_options, folder))
print(arcpy.GetMessages())

Environnements

Cet outil n’utilise pas d’environnement de géotraitement.

Rubriques connexes