Amazon S3

Источник Amazon Simple Storage Service (S3) читает записи из файлов, хранящихся в бакете Amazon S3, и выполняет анализ в ArcGIS Velocity.

Примеры

Ниже приведены примеры использования для источника данных:

  • Пользователь хочет загрузить сотни текстовых файлов из бакета Amazon S3 в Velocity, чтобы выполнить анализ.
  • Отдел ГИС хранит обычно используемые шейп-файлы с границами в бакете Amazon S3 и хочет загрузить шейп-файл границы округа в Velocity в качестве границы агрегации.

Примечания по использованию

При работе с источником данных учитывайте следующее:

  • Все файлы, идентифицированные в бакете Amazon S3 шаблоном именования, указанным в параметре Набор данных, должны иметь одинаковую схему и тип геометрии. При указании имени папки для параметра Набор данных все файлы в директориях должны иметь одинаковый тип файла и схему.
  • Секретный ключ доступа шифруется при первом сохранении аналитики и хранится в зашифрованном состоянии.
  • При указании пути к папке используйте символы косой черты.
  • После настройки свойств исходного подключения изучите раздел по настройке входных данных, чтобы узнать, как определить схему и ключевые свойства.
  • При использовании режима доступа Общий для подключения к общедоступным бакетам Amazon S3 с помощью Velocity, общедоступным бакетам Amazon S3 должно быть разрешено действие Список для Всех (общий доступ) в списке управления доступом к бакету.
  • Определенные действия Amazon S3 требуются для пользовательской политики, связанной с предоставленным ключом Amazon для Velocity, чтобы успешно подключиться к бакету Amazon S3, а также к данным в указанном бакете и пути к папке.
    • Действие s3:ListBucket требуется для указанного бакета.
    • Действие s3:GetObject требуется для указанного пути к папке и субресурсам (arn:aws:s3:::yourBucketName/*) для источника Amazon S3 для чтения данных.

Параметры

Ниже приведены параметры источника данных:

ПараметрОписаниеТип данных
Ключ доступа

ID ключа доступа Amazon для бакета S3, например, AKIAIOSFODNN7EXAMPLE.

Velocity использует ключ доступа для загрузки указанных источников данных в приложение.

Дополнительные сведения о ключах доступа Amazon см. в разделе Доступ к AWS с использованием учетных данных AWS в документации AWS.

Строка

Секретный ключ

Секретный ключ доступа Amazon для бакета S3, например, wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY.

Velocity использует ключ доступа для загрузки указанных источников данных в приложение.

Секретный ключ доступа шифруется при первом сохранении аналитики и хранится в зашифрованном состоянии.

Дополнительные сведения о секретных ключах доступа Amazon см. в разделе Доступ к AWS с использованием учетных данных AWS в документации AWS.

Строка

Имя бакета S3

Имя бакета Amazon S3, содержащего файлы для чтения.

Строка

Путь к папке

Путь к папке, содержащей файлы для загрузки в Velocity.

  • Если вы загружаете файлы из корневого уровня бакета Amazon S3, введите один прямой слэш (/).
  • Если вы загружаете файлы из папки в бакет Amazon S3, введите прямой слэш, а затем путь к папке, например, /gis_data_folder/folder_containing_desired_dataset.

Строка

Набор данных

Имя файла, считываемого при загрузке одного файла, или шаблон, указывающий набор файлов, за которым следует расширение типа файла.

Чтобы построить шаблон, указывающий на набор файлов, используйте звездочку (*) в качестве подстановочного символа либо отдельно, либо в сочетании с частичным именем файла.

Все файлы, идентифицированные шаблоном именования, должны иметь одинаковую схему и тип геометрии.

В качестве альтернативы, при загрузке нескольких файлов или вложенных папок, вы также можете указать имя содержащей папки в качестве имени набора данных вместо имени файла с расширением. Если в качестве набора данных указано имя содержащей папки, нельзя использовать подстановочные знаки или ограничивать типы файлов. Все файлы из указанной папки будут загружены, и все они должны иметь один и тот же тип файла.

Ниже приведены примеры:

  • Один файл в папке: filename.csv
  • Все файлы в папке: *.shp
  • Выбрать файлы в папке: sensor_data_201*.json
  • Все файлы из директории или директории директорий (поддиректорий):—containingFolderName

Строка

Советы и ограничения

При использовании источника данных учитывайте следующее:

  • Все файлы, идентифицированные в бакете Amazon S3 шаблоном именования в свойстве набора данных, должны иметь одинаковую схему и тип геометрии.
  • Прием JSON с массивом объектов, на которые ссылается корневой узел, в настоящее время не поддерживается для хранилища Amazon S3 или Azure Blob.