Amazon S3

Источник Amazon S3 читает записи из файлов, хранящихся в бакете Amazon S3, и выполняет анализ в ArcGIS Velocity.

Примеры

Ниже приведены примеры использования источника Amazon S3:

• Пользователь хочет загрузить сотни текстовых файлов из бакета Amazon S3 в Velocity, чтобы выполнить анализ.
• Отдел ГИС хранит обычно используемые шейп-файлы с границами в бакете Amazon S3 и хочет загрузить шейп-файл границы округа в Velocity в качестве границы агрегации.

Примечания по использованию

При работе с источником Amazon S3 нужно учитывать следующее:

• Все файлы, идентифицированные в бакете Amazon S3 шаблоном именования, указанным в параметре Набор данных, должны иметь одинаковую схему и тип геометрии. При указании имени папки для параметра Набор данных все файлы в директориях должны иметь одинаковый тип файла и схему.
• Секретный ключ доступа шифруется при первом сохранении аналитики и хранится в зашифрованном состоянии.
• При указании пути к папке используйте прямые косые черты (/).
• После настройки свойств исходного подключения изучите раздел Настройка входных данных, чтобы узнать, как определить схему и ключевые свойства.
• При использовании режима доступа Общий для подключения к общедоступным бакетам Amazon S3 с помощью Velocity, общедоступным бакетам Amazon S3 должно быть разрешено действие Список для Всех (общий доступ) в списке управления доступом к бакету.
• Определенные действия Amazon S3 требуются для пользовательской политики, связанной с предоставленным ключом Amazon для Velocity, чтобы успешно подключиться к бакету Amazon S3, а также к данным в указанном бакете и пути к папке.
  • Действие s3:ListBucket требуется для указанного бакета.
  • Действие s3:GetObject требуется для указанного пути к папке и субресурсам (arn:aws:s3:::yourBucketName/*) для источника Amazon S3 для чтения данных.

Параметры

Параметр	Описание	Тип данных
Ключ доступа	ID ключа доступа Amazon для бакета S3, например, AKIAIOSFODNN7EXAMPLE. Velocity использует ключ доступа для загрузки указанных источников данных в приложение. Дополнительные сведения о ключах доступа Amazon см. в разделе Доступ к AWS с использованием учетных данных AWS в документации AWS.	String
Секретный ключ	Секретный ключ доступа Amazon для бакета S3, например, wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY. Velocity использует ключ доступа для загрузки указанных источников данных в приложение. Секретный ключ доступа шифруется при первом сохранении аналитики и хранится в зашифрованном состоянии. Дополнительные сведения о секретных ключах доступа Amazon см. в разделе Доступ к AWS с использованием учетных данных AWS в документации AWS.	String
Имя бакета S3	Имя бакета Amazon S3, содержащего файлы для чтения.	String
Путь к папке	Путь к папке, содержащей файлы для загрузки в Velocity. Если вы загружаете файлы из корневого уровня бакета Amazon S3, введите один прямой слэш (/). Если вы загружаете файлы из папки в бакет Amazon S3, введите прямой слэш, а затем путь к папке, например, /gis_data_folder/folder_containing_desired_dataset.	String
Набор данных	Имя файла, считываемого при загрузке одного файла, или шаблон, указывающий набор файлов, за которым следует расширение типа файла. Чтобы построить шаблон, указывающий на набор файлов, используйте звездочку (*) в качестве подстановочного символа либо отдельно, либо в сочетании с частичным именем файла. Все файлы, идентифицированные шаблоном именования, должны иметь одинаковую схему и тип геометрии. В качестве альтернативы, при загрузке нескольких файлов или вложенных папок, вы также можете указать имя содержащей папки в качестве имени набора данных вместо имени файла с расширением. Если в качестве набора данных указано имя содержащей папки, нельзя использовать подстановочные знаки или ограничивать типы файлов. Все файлы из указанной папки будут загружены, и все они должны иметь один и тот же тип файла. Ниже приведены примеры: Один файл в папке: filename.csv Все файлы в папке: *.shp Избранные файлы в папке: sensor_data_201*.json Все файлы из директории или директории директорий (поддиректорий):—containingFolderName	String
Загружать только последние файлы	Указывает, загружает ли источник Amazon S3 все файлы или только файлы, созданные или измененные с момента последнего запуска аналитики. По умолчанию установлено значение false, что означает, что каждый раз при запуске аналитики загружаются все файлы в указанном бакете и пути с предоставленным именем набора данных. Если установлено значение true, только файлы, которые были изменены или созданы, загружаются при каждом запуске аналитики. Параметр может иметь значение true только для запланированной аналитики больших данных. При первом запуске запланированной аналитики больших данных с параметром, установленным на true, аналитика больших данных не загружает никакие файлы, и аналитический прогон будет завершен. При последующих запусках аналитики файлы загружаются с датой последнего изменения с момента последнего запланированного запуска аналитики.	Boolean

Советы и ограничения

При использовании источника Amazon S3 нужно иметь в виду следующее:

• Все файлы, идентифицированные в бакете Amazon S3 шаблоном именования в свойстве набора данных, должны иметь одинаковую схему и тип геометрии.
• Прием JSON с массивом объектов, на которые ссылается корневой узел, в настоящее время не поддерживается для хранилища Amazon S3 или Azure Blob.