Создать файл подключения к облачному хранилищу (Управление данными)

Краткая информация

Создает файл подключения к облачному хранилищу, поддерживаемому ArcGIS. Этот инструмент позволяет имеющимся растровым инструментам геообработки записывать наборы данных в формате облачных растров (CRF) в облачное хранилище или использовать в качестве входящих данных наборы растровых данных (не только CRF), хранящиеся в облаке. Инструмент также создает файл подключения к облачному хранилищу, который вы можете использовать для доступа к файлам Apache Parquet.

Использование

  • Вы должны предоставить необходимую информацию для подключения к облачному хранилищу, такую как Ключ доступа, Секретный ключ доступа и Имя бакета, чтобы запустить этот инструмент. Вы также можете использовать альтернативные методы аутентификации на основании параметра Опции провайдера.

    Более подробно о подключении к облачному хранилищу

  • На выходе инструмента создается двоичный файл подключения к облачному хранилищу (.acs) в формате ArcGIS Cloud Storage.

  • При доступе к набору растровых данных, хранящемся в облаке, можно ссылаться на него через файл пути, такой как c:/temp/amazons3.acs/someraster. Если набор данных хранится в папке в бакете, ее имя должно быть включено в путь, например, c:/temp/amazons3.acs/foldername/someraster.

  • Этот инструмент поддерживает подключения к бакетам Amazon Simple Storage Service (S3), контейнерам хранилища BLOB-объектов Microsoft Azure, Microsoft Azure Data Lake Storage Storage Gen2, бакетам Alibaba Cloud Object Storage Service (OSS), бакетам службы хранилища (GCS) Google Cloud, WebHDFS, MinIO и бакетам службы хранения объектов Ozone. Только Amazon S3 поддерживается при доступе к файлу Parquet.

  • Пользовательский URL-адрес конечной точки может использоваться для поддержки любого хранилища объектов, совместимого с S3, или записи CNAME, при применении для растровых данных.

  • Инструмент проверяет указанные учетные данные во время работы. Если подключение не удается установить, инструмент завершает работу с сообщением об ошибке.

  • Аутентификация OAuth 2.0 с помощью Azure Active Directory поддерживается с помощью интерактивного входа пользователя для Azure и Azure Data Lake Storage Gen 2. Аутентификация OAuth 2.0 для Google Cloud Storage Service (GCS) также поддерживается. Информацию о настройке смотрите в разделе Подключение к провайдерам аутентификации из ArcGIS AllSource. После настройки и входа пользователя в систему параметр аутентификации становится активным для Google, Azure и Azure Data Lake Storage Gen2. Регион и конечная точка будут извлечены из конфигурации.

  • Поддержка назначаемых пользователем управляемых идентификаторов, используемых Entra ID на виртуальной машине Azure, доступна для Azure и Azure Data Lake Storage Gen2.

  • Управление доступом на основе ролей (RBAC) доступно для облачных провайдеров Amazon, Azure и Google. Если оставить все параметры аутентификации пустыми при использовании Amazon Elastic Compute Cloud (EC2), виртуальной машины Azure или Google Compute Engine сможет активировать ArcGIS AllSource для доступа к хранилищу Blob с использованием ролей IAM или Azure RBAC. Для Amazon поддерживаются IMDSv1 и IMDSv2.

    Microsoft Azure Data Lake Storage Gen2 использует те же опции, что и Azure, но обеспечивает надежную поддержку каталогов и элементарные операции с использованием конечной точки DFS. Некоторые сетевые ошибки во время облачных операций повторно выполняются после экспоненциальной задержки.

    Чтобы узнать о производительности и получить дополнительную информацию, см. документацию по виртуальным файловым системам GDAL.

Параметры

ПодписьОписаниеТип данных
Местоположение файла подключения

Путь к папке, где будет создан файл подключения (.acs).

Folder
Имя файла подключения

Имя файла подключения к облачному хранилищу.

String
Провайдер сервиса

Указывается используемый провайдер сервиса облачного хранения.

  • AzureПровайдер сервиса - Microsoft Azure.
  • AmazonПровайдер сервиса - Amazon S3. В настоящее время это единственный поддерживаемый поставщик услуг доступа к файлу Parquet.
  • GoogleПоставщиком услуг будет Google Cloud Storage.
  • AlibabaПровайдер сервиса - Облачное хранилище Alibaba.
  • WebHDFSПоставщиком услуг будет WebHDFS.
  • MinIOПоставщиком услуг будет MinIO.
  • Azure Data LakeПровайдер сервиса - Microsoft Azure Data Lake Storage.
  • OzoneПровайдер сервиса должен быть Ozone.
  • ВебПоставщик сервиса для доступа к общим http urls.
String
Имя бакета (контейнера)

Имя контейнера облачного хранилища, где будет находиться набор данных или файл Parquet. Если вы используете это местоположение для выходных данных растровых инструментов геообработки, то это контейнер, в котором будет храниться выходной набор растровых данных. Многие облачные провайдеры также называют этот контейнер бакетом.

String
Access Key ID (Имя учетной записи)
(Дополнительный)

Строка ID ключа доступа для определенных типов облачных хранилищ. Это также может быть имя учетной записи, как в случае с Azure.

String
Secret Access Key (Ключ учетной записи)
(Дополнительный)

Строка секретного ключа доступа для аутентификации подключения к облачному хранилищу.

Encrypted String
Регион (Среда)
(Дополнительный)

Строка региона облачного хранилища. Если используется, необходимо значение в формате, определяемым сервисом облачного хранилища. По умолчанию используется учетная запись выбранного облачного провайдера по умолчанию.

String
Конечная точка сервиса
(Дополнительный)

Конечная точка сервиса (uris) облачного хранилища, например, oss-us-west-1.aliyuncs.com. Если значение не указано, будет использоваться конечная точка по умолчанию для выбранного типа облачного хранилища. При необходимости также можно использовать перенаправленную конечную точку CNAME.

String
Опции провайдера
(Дополнительный)

Параметры конфигурации, относящиеся к определенному типу облачного сервиса. У некоторых сервисов имеются такие опции, у других - нет. Вам необходимо указать этот параметр, если вы хотите включить эти опции. При создании файла подключения к облачному хранилищу для доступа к файлу Parquet поддерживается только часть параметров, как указано в следующих описаниях.

  • Azure и Microsoft Azure Data Lake Storage
    • AZURE_STORAGE_SAS_TOKEN - укажите подпись общего доступа. Убедитесь, что значение закодировано в URL-адресе и не содержит начальных символов '?' или '&'. При использовании этой опции параметр Секретный ключ доступа (Ключ учетной записи) должен быть пустым.
    • AZURE_NO_SIGN_REQUEST - анонимное подключение к бакетам (контейнерам), не требующим аутентифицированного доступа. При использовании этой опции параметр Секретный ключ доступа (Ключ учетной записи) должен быть пустым. Значение по умолчанию равно False.
    • AZURE_STORAGE_CONNECTION_STRING - Укажите строку подключения к хранилищу Azure. Эта строка включает имя учетной записи, ключ и конечную точку. При использовании этой опции параметры ID ключа доступа (Имя учетной записи) и Секретный ключ доступа (Ключ учетной записи) должны быть пустыми.
    • CPL_AZURE_USE_HTTPS - установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только для поддержки запросов HTTPS. Значение по умолчанию равно True.
    • AZURE_IMDS_OBJECT_ID - укажите ID объекта управляемого идентификатора, прошедшего проверку подлинности с помощью Azure Instance Metadata Service (IMDS), если на вашей виртуальной машине Azure установлено несколько назначенных пользователем управляемых идентификаторов.
    • AZURE_IMDS_CLIENT_ID - укажите ID клиента управляемого идентификатора, прошедшего проверку подлинности с помощью Azure Instance Metadata Service (IMDS), если на вашей виртуальной машине Azure установлено несколько назначенных пользователем управляемых идентификаторов.
    • AZURE_IMDS_MSI_RES_ID - укажите ID объекта управляемого идентификатора, прошедшего проверку подлинности с помощью Azure Instance Metadata Service (IMDS), если на вашей виртуальной машине Azure установлено несколько назначенных пользователем управляемых идентификаторов.
  • Amazon и MinIO
    • AWS_NO_SIGN_REQUEST - анонимное подключение к бакетам (контейнерам), не требующим аутентифицированного доступа. Значение по умолчанию равно False. Эта опция поддерживается для доступа к файлу Parquet.
    • AWS_SESSION_TOKEN - Укажите временные учетные данные. Эта опция поддерживается для доступа к файлу Parquet.
    • AWS_DEFAULT_PROFILE - профили учетных данных AWS используются автоматически при отсутствии ключа или идентификатора доступа. Эта опция может использоваться для указания используемого профиля. Эта опция поддерживается для доступа к файлу Parquet.
    • AWS_REQUEST_PAYER - Получить доступ к бакетам "Платит запрашивающий" можно, установив эту опцию в значение запрашивающего.
    • AWS_Virtual_Hosting - если вы используете Amazon S3 или S3-совместимые облачные провайдеры, поддерживающие только запросы path-style, необходимо установить для этой опции значение True. Рекомендуется использовать виртуальный хостинг, если он поддерживается. Значение по умолчанию равно True.
    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE - некоторые старые реализации, совместимые с S3, не поддерживают операцию массового удаления. Этим провайдерам установите для данной опции значение False. Значение по умолчанию равно True.
    • AWS_HTTPS - установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только для поддержки запросов HTTPS. Значение по умолчанию равно True.
  • Google
    • GS_NO_SIGN_REQUEST - анонимное подключение к бакетам (контейнерам), не требующим аутентифицированного доступа. Значение по умолчанию равно True.
    • GS_USER_PROJECT - получить доступ к бакетам "Платит запрашивающий" можно, установив ключи OAuth2 и проект для платежа. Укажите эту опцию для проекта и установите ключи OAuth2 на использование других опций, и не использование ключей HMAC в качестве секретного ключа или ID.
    • GS_OAUTH2_REFRESH_TOKEN - указывает Обновить токен обновления OAuth 2.0 Установите учетные данные клиента OAuth2 с помощью GS_OAUTH2_CLIENT_ID и GS_OAUTH2_CLIENT_SECRET.
    • GOOGLE_APPLICATION_CREDENTIALS — укажите учетные данные Учетной записи сервиса OAuth2 с помощью файла .json, содержащего ключ безопасности и email клиента.
    • GS_OAUTH2_ PRIVATE_KEY — укажите учетные данные Учетной записи сервиса OAuth2 с помощью строки ключа безопасности. Необходимо установить GS_AUTH2_CLIENT_EMAIL.
    • GS_OAUTH2_ PRIVATE_KEY_FILE — укажите учетные данные Учетной записи сервиса OAuth2 с помощью ключа безопасности из файла. Необходимо установить GS_AUTH2_CLIENT_EMAIL.
    • GS_AUTH2_CLIENT_EMAIL — укажите учетные данные Учетной записи сервиса OAuth2 с помощью email клиента.
    • GS_AUTH2_SCOPE — укажите область применения Учетной записи сервиса OAuth2. Корректные значения https://www.googleapis.com/auth/devstorage.read_write (по умолчанию) и https://www.googleapis.com/auth/devstorage.read_only.
    • GDAL_HTTP_HEADER_FILE - укажите учетные данные для аутентификации на предъявителя, хранящиеся во внешнем файле.
  • Alibaba
    • OSS_Virtual_Hosting - если вы используете Alibaba или S3-совместимые облачные провайдеры, поддерживающие только запросы path-style, необходимо установить для этой опции значение True. Рекомендуется использовать виртуальный хостинг, если он поддерживается. Значение по умолчанию равно True.
    • OSS_HTTPS - установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только для поддержки запросов HTTPS. Значение по умолчанию равно True.
  • WebHDFS
    • WEBHDFS_REPLICATION (целое число) - значение репликации используется при создании файла
    • WEBHDFS_PERMISSION (десятичное число) - маска прав доступа используется при создании файла

Если предоставлено несколько параметров аутентификации, приоритет будет следующим:

  • AzureAZURE_STORAGE_CONNECTION_STRING, имя/ключ учетной записи,AZURE_STORAGE_SAS_TOKEN, AZURE_NO_SIGN_REQUEST или RBAC.
  • AmazonAWS_NO_SIGN_REQUEST, ID доступа/ключ или AWS_SESSION_TOKEN, AWS Credential Profile или IAM Role.
  • GoogleGS_NO_SIGN_REQUEST, ID/ключ доступа, GDAL_HTTP_HEADER_FILE, (GS_OAUTH2_REFRESH_TOKEN or GS_OAUTH2_CLIENT_ID and GS_OAUTH2_CLIENT_SECRET), GOOGLE_APPLICATION_CREDENTIALS, (GS_OAUTH2_PRIVATE_KEY or GS_OAUTH2_CLIENT_EMAIL), (GS_OAUTH2_PRIVATE_KEY_FILE or GS_OAUTH2_CLIENT_EMAIL) или IAM Role.
  • Ozone
    • AWS_DEFAULT_PROFILE - профили учетных данных AWS используются автоматически при отсутствии ключа или идентификатора доступа. Эта опция может использоваться для указания используемого профиля.
    • AWS_Virtual_Hosting - если вы используете Amazon S3 или S3-совместимые облачные провайдеры, поддерживающие только запросы path-style, необходимо установить для этой опции значение True. Рекомендуется использовать виртуальный хостинг, если он поддерживается. Значение по умолчанию равно True.
    • AWS_HTTPS - установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только для поддержки запросов HTTPS. Значение по умолчанию равно True.
    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE - некоторые старые реализации, совместимые с S3, не поддерживают операцию массового удаления. Этим провайдерам установите для данной опции значение False. Значение по умолчанию равно True.
    • x-amz-storage-class — укажите REDUCED_REDUNDANCY для записи в отдельный контейнер ozone, так как он содержит один узел данных.
  • Веб

    При использовании опции Веб доступ к аутентифицированной конечной точке HTTP/HTTPS можно получить с помощью ACS. Параметры аутентификации передаются как опции провайдера и будут использоваться для доступа к конечной точке.

    • GDAL_HTTP_USERPWD - имя пользователя HTTP и пароль, которые будут использоваться для подключения. Должно быть в виде [user name]:[password]. Используйте GDAL_HTTP_AUTH для выбора метода аутентификации.
    • GDAL_HTTP_NETRC_FILE - устанавливает местоположение файла .netrc.
    • GDAL_HTTP_HEADERS - задает заголовки в виде списка key:value pairs, разделенного запятыми.
    • GDAL_HTTP_BEARER - задает токен HTTP OAuth 2.0 Bearer Access, который будет использоваться для подключения. Необходимо использовать в сочетании с GDAL_HTTP_AUTH=BEARER.
    • GDAL_HTTP_AUTH - выберите тип используемого метода аутентификации [BASIC/NTLM/NEGOTIATE/ANY/ANYSAFE/BEARER].
    • GDAL_HTTP_SSLCERT - имя файла клиентского SSL-сертификата для аутентификации с использованием PKI.
    • GDAL_HTTP_SSLKEY - путь к файлу закрытого ключа для клиентского сертификата TLS и SSL для аутентификации PKI.
    • GDAL_HTTP_KEYPASSWD - парольная фраза к закрытому ключу GDAL_HTTP_SSLKEY.

Помимо перечисленных выше опций провайдеров, опция ARC_DEEP_CRAWL может использоваться со всеми провайдерами сервисов. В случае True, она используется для идентификации CRF, без расширения в облаке и облачных растровых продуктов. Это ресурсо-затратная операция, и настоятельно рекомендуется установить для этого параметра значение False, чтобы ускорить просмотр и сканирование каталогов. Значение по умолчанию равно False.

Сервисы предоставления пользовательских токенов, такие, как сбор данных Планетарным компьютером, можно авторизовать с использованием опций ARC_TOKEN_SERVICE_API (URL поставщика токена) и ARC_TOKEN_OPTION_NAME (тип токена провайдера сервиса).

Примечание:

Опция GDAL_DISABLE_READDIR_ON_OPEN доступна для всех провайдеров сервиса. Для повышения производительности при загрузке облачных растров, эта опция установлена на NO по умолчанию. Если растр находится в папке, содержащей более 30000 элементов, установите эту опцию на YES.

Value Table
Папка
(Дополнительный)

Папка в параметре Bucket (Container) Name, в которой будет храниться набор растровых данных или файл Parquet. Если вы используете это местоположение для выходных данных растровых инструментов геообработки, то это папка, в котором будет храниться выходной набор растровых данных.

String
Аутентификация
(Дополнительный)

Имя подключения для аутентификации OAuth 2.0.

Рабочее подключение необходимо настроить в диалоговом окне Опции на вкладке Аутентификация.

String

Производные выходные данные

ПодписьОписаниеТип данных
Выходной файл подключения

Путь к выходному файлу подключения к облачному хранилищу.

File

arcpy.management.CreateCloudStorageConnectionFile(out_folder_path, out_name, service_provider, bucket_name, {access_key_id}, {secret_access_key}, {region}, {end_point}, {config_options}, {folder}, {authentication})
ИмяОписаниеТип данных
out_folder_path

Путь к папке, где будет создан файл подключения (.acs).

Folder
out_name

Имя файла подключения к облачному хранилищу.

String
service_provider

Указывается используемый провайдер сервиса облачного хранения.

  • AZUREПровайдер сервиса - Microsoft Azure.
  • AMAZONПровайдер сервиса - Amazon S3. В настоящее время это единственный поддерживаемый поставщик услуг доступа к файлу Parquet.
  • GOOGLEПоставщиком услуг будет Google Cloud Storage.
  • ALIBABAПровайдер сервиса - Облачное хранилище Alibaba.
  • WEBHDFSПоставщиком услуг будет WebHDFS.
  • MINIOПоставщиком услуг будет MinIO.
  • AZUREDATALAKEПровайдер сервиса - Microsoft Azure Data Lake Storage.
  • OZONEПровайдер сервиса должен быть Ozone.
  • WEBПоставщик сервиса для доступа к общим http urls.
String
bucket_name

Имя контейнера облачного хранилища, где будет находиться набор данных или файл Parquet. Если вы используете это местоположение для выходных данных растровых инструментов геообработки, то это контейнер, в котором будет храниться выходной набор растровых данных. Многие облачные провайдеры также называют этот контейнер бакетом.

String
access_key_id
(Дополнительный)

Строка ID ключа доступа для определенных типов облачных хранилищ. Это также может быть имя учетной записи, как в случае с Azure.

String
secret_access_key
(Дополнительный)

Строка секретного ключа доступа для аутентификации подключения к облачному хранилищу.

Encrypted String
region
(Дополнительный)

Строка региона облачного хранилища. Если используется, необходимо значение в формате, определяемым сервисом облачного хранилища. По умолчанию используется учетная запись выбранного облачного провайдера по умолчанию.

String
end_point
(Дополнительный)

Конечная точка сервиса (uris) облачного хранилища, например, oss-us-west-1.aliyuncs.com. Если значение не указано, будет использоваться конечная точка по умолчанию для выбранного типа облачного хранилища. При необходимости также можно использовать перенаправленную конечную точку CNAME.

String
config_options
[config_options,...]
(Дополнительный)

Параметры конфигурации, относящиеся к определенному типу облачного сервиса. У некоторых сервисов имеются такие опции, у других - нет. Вам необходимо указать этот параметр, если вы хотите включить эти опции. При создании файла подключения к облачному хранилищу для доступа к файлу Parquet поддерживается только часть параметров, как указано в следующих описаниях.

  • Azure и Microsoft Azure Data Lake Storage
    • AZURE_STORAGE_SAS_TOKEN - укажите подпись общего доступа. Убедитесь, что значение закодировано в URL-адресе и не содержит начальных символов '?' или '&'. При использовании этой опции параметр Секретный ключ доступа (Ключ учетной записи) должен быть пустым.
    • AZURE_NO_SIGN_REQUEST - анонимное подключение к бакетам (контейнерам), не требующим аутентифицированного доступа. При использовании этой опции параметр Секретный ключ доступа (Ключ учетной записи) должен быть пустым. Значение по умолчанию равно False.
    • AZURE_STORAGE_CONNECTION_STRING - Укажите строку подключения к хранилищу Azure. Эта строка включает имя учетной записи, ключ и конечную точку. При использовании этой опции параметры ID ключа доступа (Имя учетной записи) и Секретный ключ доступа (Ключ учетной записи) должны быть пустыми.
    • CPL_AZURE_USE_HTTPS - установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только для поддержки запросов HTTPS. Значение по умолчанию равно True.
    • AZURE_IMDS_OBJECT_ID - укажите ID объекта управляемого идентификатора, прошедшего проверку подлинности с помощью Azure Instance Metadata Service (IMDS), если на вашей виртуальной машине Azure установлено несколько назначенных пользователем управляемых идентификаторов.
    • AZURE_IMDS_CLIENT_ID - укажите ID клиента управляемого идентификатора, прошедшего проверку подлинности с помощью Azure Instance Metadata Service (IMDS), если на вашей виртуальной машине Azure установлено несколько назначенных пользователем управляемых идентификаторов.
    • AZURE_IMDS_MSI_RES_ID - укажите ID объекта управляемого идентификатора, прошедшего проверку подлинности с помощью Azure Instance Metadata Service (IMDS), если на вашей виртуальной машине Azure установлено несколько назначенных пользователем управляемых идентификаторов.
  • Amazon и MinIO
    • AWS_NO_SIGN_REQUEST - анонимное подключение к бакетам (контейнерам), не требующим аутентифицированного доступа. Значение по умолчанию равно False. Эта опция поддерживается для доступа к файлу Parquet.
    • AWS_SESSION_TOKEN - Укажите временные учетные данные. Эта опция поддерживается для доступа к файлу Parquet.
    • AWS_DEFAULT_PROFILE - профили учетных данных AWS используются автоматически при отсутствии ключа или идентификатора доступа. Эта опция может использоваться для указания используемого профиля. Эта опция поддерживается для доступа к файлу Parquet.
    • AWS_REQUEST_PAYER - Получить доступ к бакетам "Платит запрашивающий" можно, установив эту опцию в значение запрашивающего.
    • AWS_Virtual_Hosting - если вы используете Amazon S3 или S3-совместимые облачные провайдеры, поддерживающие только запросы path-style, необходимо установить для этой опции значение True. Рекомендуется использовать виртуальный хостинг, если он поддерживается. Значение по умолчанию равно True.
    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE - некоторые старые реализации, совместимые с S3, не поддерживают операцию массового удаления. Этим провайдерам установите для данной опции значение False. Значение по умолчанию равно True.
    • AWS_HTTPS - установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только для поддержки запросов HTTPS. Значение по умолчанию равно True.
  • Google
    • GS_NO_SIGN_REQUEST - анонимное подключение к бакетам (контейнерам), не требующим аутентифицированного доступа. Значение по умолчанию равно True.
    • GS_USER_PROJECT - получить доступ к бакетам "Платит запрашивающий" можно, установив ключи OAuth2 и проект для платежа. Укажите эту опцию для проекта и установите ключи OAuth2 на использование других опций, и не использование ключей HMAC в качестве секретного ключа или ID.
    • GS_OAUTH2_REFRESH_TOKEN - указывает Обновить токен обновления OAuth 2.0 Установите учетные данные клиента OAuth2 с помощью GS_OAUTH2_CLIENT_ID и GS_OAUTH2_CLIENT_SECRET.
    • GOOGLE_APPLICATION_CREDENTIALS — укажите учетные данные Учетной записи сервиса OAuth2 с помощью файла .json, содержащего ключ безопасности и email клиента.
    • GS_OAUTH2_ PRIVATE_KEY — укажите учетные данные Учетной записи сервиса OAuth2 с помощью строки ключа безопасности. Необходимо установить GS_AUTH2_CLIENT_EMAIL.
    • GS_OAUTH2_ PRIVATE_KEY_FILE — укажите учетные данные Учетной записи сервиса OAuth2 с помощью ключа безопасности из файла. Необходимо установить GS_AUTH2_CLIENT_EMAIL.
    • GS_AUTH2_CLIENT_EMAIL — укажите учетные данные Учетной записи сервиса OAuth2 с помощью email клиента.
    • GS_AUTH2_SCOPE — укажите область применения Учетной записи сервиса OAuth2. Корректные значения https://www.googleapis.com/auth/devstorage.read_write (по умолчанию) и https://www.googleapis.com/auth/devstorage.read_only.
    • GDAL_HTTP_HEADER_FILE - укажите учетные данные для аутентификации на предъявителя, хранящиеся во внешнем файле.
  • Alibaba
    • OSS_Virtual_Hosting - если вы используете Alibaba или S3-совместимые облачные провайдеры, поддерживающие только запросы path-style, необходимо установить для этой опции значение True. Рекомендуется использовать виртуальный хостинг, если он поддерживается. Значение по умолчанию равно True.
    • OSS_HTTPS - установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только для поддержки запросов HTTPS. Значение по умолчанию равно True.
  • WebHDFS
    • WEBHDFS_REPLICATION (целое число) - значение репликации используется при создании файла
    • WEBHDFS_PERMISSION (десятичное число) - маска прав доступа используется при создании файла

Если предоставлено несколько параметров аутентификации, приоритет будет следующим:

  • AzureAZURE_STORAGE_CONNECTION_STRING, имя/ключ учетной записи,AZURE_STORAGE_SAS_TOKEN, AZURE_NO_SIGN_REQUEST или RBAC.
  • AmazonAWS_NO_SIGN_REQUEST, ID доступа/ключ или AWS_SESSION_TOKEN, AWS Credential Profile или IAM Role.
  • GoogleGS_NO_SIGN_REQUEST, ID/ключ доступа, GDAL_HTTP_HEADER_FILE, (GS_OAUTH2_REFRESH_TOKEN or GS_OAUTH2_CLIENT_ID and GS_OAUTH2_CLIENT_SECRET), GOOGLE_APPLICATION_CREDENTIALS, (GS_OAUTH2_PRIVATE_KEY or GS_OAUTH2_CLIENT_EMAIL), (GS_OAUTH2_PRIVATE_KEY_FILE or GS_OAUTH2_CLIENT_EMAIL) или IAM Role.
  • Ozone
    • AWS_DEFAULT_PROFILE - профили учетных данных AWS используются автоматически при отсутствии ключа или идентификатора доступа. Эта опция может использоваться для указания используемого профиля.
    • AWS_Virtual_Hosting - если вы используете Amazon S3 или S3-совместимые облачные провайдеры, поддерживающие только запросы path-style, необходимо установить для этой опции значение True. Рекомендуется использовать виртуальный хостинг, если он поддерживается. Значение по умолчанию равно True.
    • AWS_HTTPS - установите False, чтобы использовать запросы HTTP. Некоторые серверы могут быть настроены только для поддержки запросов HTTPS. Значение по умолчанию равно True.
    • CPL_VSIS3_USE_BASE_RMDIR_RECURSIVE - некоторые старые реализации, совместимые с S3, не поддерживают операцию массового удаления. Этим провайдерам установите для данной опции значение False. Значение по умолчанию равно True.
    • x-amz-storage-class — укажите REDUCED_REDUNDANCY для записи в отдельный контейнер ozone, так как он содержит один узел данных.
  • Веб

    При использовании опции Веб доступ к аутентифицированной конечной точке HTTP/HTTPS можно получить с помощью ACS. Параметры аутентификации передаются как опции провайдера и будут использоваться для доступа к конечной точке.

    • GDAL_HTTP_USERPWD - имя пользователя HTTP и пароль, которые будут использоваться для подключения. Должно быть в виде [user name]:[password]. Используйте GDAL_HTTP_AUTH для выбора метода аутентификации.
    • GDAL_HTTP_NETRC_FILE - устанавливает местоположение файла .netrc.
    • GDAL_HTTP_HEADERS - задает заголовки в виде списка key:value pairs, разделенного запятыми.
    • GDAL_HTTP_BEARER - задает токен HTTP OAuth 2.0 Bearer Access, который будет использоваться для подключения. Необходимо использовать в сочетании с GDAL_HTTP_AUTH=BEARER.
    • GDAL_HTTP_AUTH - выберите тип используемого метода аутентификации [BASIC/NTLM/NEGOTIATE/ANY/ANYSAFE/BEARER].
    • GDAL_HTTP_SSLCERT - имя файла клиентского SSL-сертификата для аутентификации с использованием PKI.
    • GDAL_HTTP_SSLKEY - путь к файлу закрытого ключа для клиентского сертификата TLS и SSL для аутентификации PKI.
    • GDAL_HTTP_KEYPASSWD - парольная фраза к закрытому ключу GDAL_HTTP_SSLKEY.

Помимо перечисленных выше опций провайдеров, опция ARC_DEEP_CRAWL может использоваться со всеми провайдерами сервисов. В случае True, она используется для идентификации CRF, без расширения в облаке и облачных растровых продуктов. Это ресурсо-затратная операция, и настоятельно рекомендуется установить для этого параметра значение False, чтобы ускорить просмотр и сканирование каталогов. Значение по умолчанию равно False.

Сервисы предоставления пользовательских токенов, такие, как сбор данных Планетарным компьютером, можно авторизовать с использованием опций ARC_TOKEN_SERVICE_API (URL поставщика токена) и ARC_TOKEN_OPTION_NAME (тип токена провайдера сервиса).

Примечание:

Опция GDAL_DISABLE_READDIR_ON_OPEN доступна для всех провайдеров сервиса. Для повышения производительности при загрузке облачных растров, эта опция установлена на NO по умолчанию. Если растр находится в папке, содержащей более 30000 элементов, установите эту опцию на YES.

Value Table
folder
(Дополнительный)

Папка в параметре bucket_name, в которой будет храниться набор растровых данных или файл Parquet. Если вы используете это местоположение для выходных данных растровых инструментов геообработки, то это папка, в котором будет храниться выходной набор растровых данных.

String
authentication
(Дополнительный)

Имя подключения для аутентификации OAuth 2.0.

String

Производные выходные данные

ИмяОписаниеТип данных
out_connection

Путь к выходному файлу подключения к облачному хранилищу.

File

Пример кода

CreateCloudStorageConnectionFile, пример 1 (окно Python)

Это пример Python для функции CreateCloudStorageConnectionFile.

#====================================
# CreateCloudStorageConnectionFile
# Usage:
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     { {Name} {Value}; {Name} {Value}...})
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     {config_options})

import arcpy

# Create connection to open public bucket with requester pay option
arcpy.management.CreateCloudStorageConnectionFile(
    "C:/Workspace/connections", "awss3storage.acs", "AMAZON", "publicrasterstore",
    config_options="AWS_REQUEST_PAYER requester")

# Create connection to secured Azure bucket
arcpy.management.CreateCloudStorageConnectionFile(
    "C:/Workspace/connections", "azurestorage.acs", "AZURE", "rasterstore", "imageaccount",
    "NOGEOU1238987OUOUNOQEWQWEIO")

# Create Alibaba connection with end points
arcpy.management.CreateCloudStorageConnectionFile(
    "C:/Workspace/connections", "aliyun.acs", "ALIBABA", "rasterstore", "AYOUER9273PJJNY",
"NOGEOU1238987OUOUNOQEWQWEIO", end_point="rasterstore.oss-us-west-1.aliyuncs.com")
CreateCloudStorageConnectionFile, пример 2 (автономный скрипт)

Это пример Python для функции CreateCloudStorageConnectionFile.

#====================================
# CreateCloudStorageConnectionFile
# Usage:
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     { {Name} {Value}; {Name} {Value}...})
# arcpy.management.CreateCloudStorageConnectionFile(
#     out_folder_path, out_name, AZURE | AMAZON | GOOGLE | ALIBABA, bucket_name,
#     {access_key_id}, {secret_access_key}, {region}, {end_point},
#     {config_options})

import arcpy

outfolder = "C:/Workspace/connections"
connectname = "googlecloudos.acs"
provider = "GOOGLE"
accesskey = "AYOUER9273PJJNY"
secretkey = "NOGEOU1238987OUOUNOQEWQWEIO"
bucketname = "rasterstore"

# Create connection to Google cloud object storage
arcpy.management.CreateCloudStorageConnectionFile(
outfolder, connectname, provider, bucketname, accesskey, secretkey)
CreateCloudStorageConnectionFile, пример 3 (окно Python)

Это пример Python для функции CreateCloudStorageConnectionFile, для подключения с использованием сервисов предоставления токенов.

#====================================
# CreateCloudStorageConnectionFile

import arcpy

outfolder = "C:/Workspace/connections"
connectname = "planetary_landsat.acs"
provider = "Azure"
accesskey = "landsateuwest"
secretkey = ""
bucketname = "landsat-c2"
folder = ""
region = ""
endpoint = ""
config_options= "ARC_TOKEN_OPTION_NAME AZURE_STORAGE_SAS_TOKEN; ARC_TOKEN_SERVICE_API https://planetarycomputer.microsoft.com/api/sas/v1/token/landsateuwest/landsat-c2"

# Create connection to planetary computer landsat data collection

print(arcpy.management.CreateCloudStorageConnectionFile(outfolder, connectname, provider, bucketname, accesskey, secretkey, region, endpoint, config_options, folder))
print(arcpy.GetMessages())

Параметры среды

Этот инструмент не использует параметры среды геообработки

Связанные разделы