В выходные данные файла записываются наборы данных из конвейера обработки данных в файл формата CSV, GeoJSON или Apache Parquet, сохраняя его в ваших ресурсах. Можно создать новый файл или перезаписать существующий.
Параметры
Следующая таблица описывает параметры, использующиеся в выходных данных файла:
| Параметр | Описание |
|---|---|
Входной набор данных | Набор данных, который будет записан в файл. |
Метод выходных данных | Указывает метод, который будет использоваться для записи результатов. Доступны варианты Создать (по умолчанию) и Перезаписать. |
Формат файла | Формат файла, который будет записан. Доступны варианты CSV, GeoJSON и Apache Parquet. |
поле Geometry | Поле геометрии, которое будет представлено в результирующем файле GeoJSON. Этот параметр недоступен для форматов файла CSV или Aparche Parquet. |
Геопространственный формат | Геопространственный формат, используемый для записи выходных данных файла Apache Parquet. В настоящий момент единственная опция - это GeoParquet 1.1. Этот параметр недоступен для форматов файла CSV или GeoJSON. |
Основное поле геометрии | Основное поле геометрии используется для записи выходных данных файла Apache Parquet. Основное поле геометрии является обязательным согласно спецификации GeoParquet 1.1. Этот параметр недоступен для форматов файла CSV или GeoJSON. |
Заголовок | Заголовок элемента выходных данных файла. |
Перезаписать, если элемент уже существует | Определяет, будет ли перезаписан существующий элемент с указанным выходным именем (если опция отмечена). Перезапись включена по умолчанию. |
Папка | Папка, в которой будет сохранен файл. |
Элемент файла | Существующий файл, который будет перезаписан при следующем запуске конвейера обработки данных. Эта опция доступна только в том случае, если для параметра Метод выходных данных установлено значение Перезаписать. |
Примечания по использованию
Для запуска конвейера данных необходимо настроить хотя бы один выход.
Используйте параметр Входной набор данных, чтобы указать набор данных, который будет записан в виде файла.
Используйте параметр Метод выходных данных, чтобы указать способ записи результатов конвейера обработки данных. Можно выбрать следующие опции:
- Создать — в ваших ресурсах будет создан новый файл. При желании можно использовать параметр Перезаписать, если элемент уже существует, чтобы перезаписывать файл при каждом запуске конвейера данных.
- Перезаписать — существующий файл будет полностью перезаписан.
При выборе метода выходных данных Создать доступны следующие параметры:
- Параметр Формат файла определяет тип файла, который будет записан. Доступны варианты CSV, GeoJSON и Apache Parquet.
- Параметр Поле геометрии доступен только для файлов в формате GeoJSON и используется для определения геометрии результирующего файла GeoJSON. Файлы GeoJSON поддерживают только систему координат WGS84 (4326). Если поле геометрии использует систему координат, отличную от WGS84 (4326), она будет автоматически проецирована перед записью данных.
- Параметр Основное поле геометрии определяет, какое поле геометрии будет использоваться при записи файла Apache Parquet. Этот параметр доступен только для файлов в формате Apache Parquet и является обязательным согласно спецификации GeoParquet 1.1. В настоящий момент GeoParquet 1.1 — единственный поддерживаемый вариант для параметра Геопространственный формат.
- Параметр Заголовок указывает имя элемента, который будет создан или перезаписан.
- Параметр Перезаписать, если элемент уже существует позволяет повторно запустить конвейер обработки данных, не меняя имя выходных данных. Эта операция полностью перезапишет файл с указанным заголовком, хранящийся в указанной папке. Этот параметр включен по умолчанию.
- Параметр Папка определяет, в какой папке будет сохранен вновь созданный результат или в какой папке в данный момент находится перезаписываемый элемент.
При выборе метода выходных данных Перезаписать становится доступным параметр Элемент файла. Используйте этот параметр, чтобы найти и выбрать элемент для перезаписи. Вы можете перезаписывать собственные элементы или элементы, предоставленные вам в группе общего обновления. Если выбранный элемент имеет формат GeoJSON или Apache Parquet, будет доступен параметр поле геометрии, позволяющий указать, какая геометрия из входного набора данных будет использоваться при перезаписи существующего файла.
Для настройки расписания автоматического обновления файлов рекомендуется использовать метод выходных данных Перезаписать вместо опции Перезаписать, если элемент уже существует.
Чтобы изменить свойства элемента — например, краткое описание или теги, — перейдите на страницу ресурсов портала и отредактируйте элемент напрямую.
Ограничения
Ниже приведены известные ограничения записи выходных данных данных в файл:
- Выходные данные в формате CSV всегда будут представлены в табличном виде. Для сохранения строковых представлений геометрии в файле CSV используйте инструмент Обновить поля, чтобы преобразовать поле геометрии в строку. Чтобы удалить поля геометрии из набора данных перед его записью в файл CSV, используйте инструмент Выбрать поля.
- Для формирования файла выходных данных GeoJSON требуется наличие геометрии; такие файлы всегда сохраняют геометрию в системе координат WGS84 (4326) в соответствии с официальной спецификацией GeoJSON. Если поле геометрии использует систему координат, отличную от WGS84 (4326), она будет автоматически перепроецирована перед записью элемента. Если система координат задана пользовательской строкой WKT, преобразование в WGS1984 (4326) может не получиться. Вместо этого используйте выходные данные Векторного слоя.
- При записи выходных данных в файл формата Apache Parquet геометрия всегда сохраняется в бинарном столбце. Некоторые пользовательские системы координат (WKT) не поддерживаются при записи выходных данных в файл формата Apache Parquet, и запись файла может завершиться с ошибкой. Вместо этого используйте выходные данные Векторного слоя.
- Операции перезаписи не откатываются в случае сбоя записи, что может привести к потере элемента до тех пор, пока конвейер данных не будет запущен снова.
- Не все типы полей, поддерживаемые источниками входных данных, сохраняются при записи результатов в файлы. Типы полей будут автоматически преобразованы для обеспечения совместимости с выбранным форматом файла.
- Вы не можете использовать опцию Перезаписать для файлов, владельцем которых не являетесь, если только вы не администратор, или если файл не опубликован в группе общего обновления, участником которой вы являетесь.
- При использовании сочетания опций Создать и Перезаписать, если элемент уже существует, применяются следующие ограничения:
- Эта опция не рекомендуется для запланированных или автоматических запусков. Для более надежного выполнения запланированных обновлений файлов используйте метод выходных данных Перезаписать и явным образом выберите значение Элемент файла, которое требуется перезаписать.
- Перезаписываемый элемент должен принадлежать вам и находиться в указанной папке. Если файл с таким же именем уже есть в другой папке, он не будет перезаписан.
- Операции перезаписи не откатываются в случае сбоя записи, что может привести к потере элемента до тех пор, пока конвейер данных не будет запущен снова.
Лицензионные требования
Требуется следующее лицензии и конфигурации:
- Тип пользователя Creator или Professional
- Роль Издатель, Посредник или Администратор, или эквивалентная пользовательская роль
Подробнее о системных требованиях Data Pipelines см. раздел Требования.
Связанные разделы
Смотрите следующую дополнительную информацию:
- Чтобы узнать, как обновлять элементы по автоматическому расписанию, см. раздел Планирование задач конвейера данных.
- Чтобы узнать больше об элементах, см. раздел Элементы, поддерживаемые в ArcGIS Online.