Конвейеры данных, которые вы создаете в приложении ArcGIS Data Pipelines, хранятся как элементы в ваших ресурсах. Вы будете использовать редактор Data Pipelines для создания и редактирования конвейеров данных. В следующих разделах описаны элементы конвейера данных и объясняется, как создать и запустить конвейер данных в редакторе.
Элементы конвейера данных
Ниже приведены три элемента конвейера данных:
- Входные данные
- Входные данные используются для загрузки данных в конвейер данных для последующей обработки. Доступно множество типов источников входных данных. Для получения дополнительной информации об источниках и типах источников, см. раздел Конфигурация набора данных.
- В одном конвейере данных может быть несколько источников данных. В рабочем процессе конвейера данных необходим хотя бы один.
- Инструменты
- Инструменты обрабатывают данные, загружаемые из входных наборов данных.
- В одном конвейере данных может быть несколько инструментов.
- Одни инструменты могут быть связаны с другими, когда выходные данные одного инструмента становятся входными для другого.
- Чтобы узнать больше о доступных инструментах и способах их использования см. раздел Обработка данных.
- Выходные данные
- Выходные данные определяют, что будет сделано с результатами конвейера данных.
- Вы можете вывести результаты конвейера данных в новый векторный слой, заменить данные в существующем векторном слое или добавить и обновить существующие данные в векторном слое.
- В одном конвейере данных может быть несколько выходных данных.
- Вы можете настроить несколько выходных данных в качестве результата одного инструмента или входного набора данных. Для запуска конвейера данных необходим хотя бы один.
- Чтобы узнать больше о записи результатов, см. раздел Векторный слой.
Рабочий процесс конвейера данных
Рабочий процесс конвейера данных состоит из трех элементов, описанных выше: подключение к существующим данным, выполнение обработки данных и запись вновь подготовленных данных. Когда конвейер данных запущен, он создает один или несколько выходных данных. Все выходные результаты доступны в ресурсах вашего портала.
Подключение к данным
Первым шагом в создании конвейера данных является подключение к данным. На панели инструментов редактора, в разделе Входные данные, выберите тип источника для подключения. Например, выберите Векторный слой и перейдите к слою или выберите Amazon S3 и перейдите к элементу хранилища данных, представляющему бакет и папку, содержащую набор данных. Чтобы узнать больше о подключении к данным и о том, как оптимизировать производительность чтения, см. раздел Конфигурация набора данных.
Выполнение обработки данных
Второй шаг – обработка входных данных. На панели инструментов редактора, в разделе Инструменты, выберите процесс, который необходимо выполнить для набора данных. Например, чтобы рассчитать местоположения для данных CSV и отфильтровать местоположения для определенной области интереса, вы можете использовать инструменты Создать геометрию и Фильтр по экстенту.
Чтобы указать набор данных для использования в качестве входных данных инструмента, выполните одно из следующих действий:
- Нарисуйте линию, перетащив указатель от соединителя одного элемента к другому.
- Используйте параметр набора входных данных, чтобы идентифицировать набор входных данных.
Обработка данных не является обязательной. После подключения к набору данных вы можете записать его как векторный слой без обработки.
Чтобы повысить производительность обработки конвейера данных, вы можете ограничить объем данных, с которыми работаете, с помощью одного или комбинации следующих инструментов:
- Выбрать поля — Сохраняет только поля интереса. Например, у вас есть набор данных переписи населения с полями за 2000 и 2010 годы, но вас интересует только 2010 год. Выберите только те поля, которые представляют значения за 2010 год.
- Фильтр по атрибуту — Сохраняет поднабор записей, содержащих определенные значения атрибутов. Например, отфильтруйте набор данных о землетрясениях для землетрясений магнитудой более 5,5.
- Фильтр по экстенту — Сохраняет поднабор записей в пределах определенного пространственного экстента. Например, отфильтруйте набор данных зон опасности наводнений в США по экстенту другого набора данных, представляющего границу штата.
Предварительный просмотр элементов конвейера данных
Используйте предварительный просмотр для изучения данных на любом этапе рабочего процесса. Предварительный просмотр предлагает следующие методы проверки ваших данных:
- Предварительный просмотр таблицы – Отображает табличное представление данных.
- Предварительный просмотр карты — Отображает местоположения набора данных на карте. В режиме предварительного просмотра карты вы можете перемещать, масштабировать карту и изучать атрибуты.
- Схема — Просмотреть схему набора данных.
- Сообщения — Просмотреть сообщения, возвращенные в результате действия предварительного просмотра.
Предварительный просмотр показывает до 8000 записей данных.
При предварительном просмотре полей даты и времени значения будут отображаться в часовом поясе вашего браузера. При записи значений в векторный слой они будут сохранены в UTC.
Предварительный просмотр наборов данных со сложной геометрией может занимать большой объем доступной памяти. При превышении пороговых значений памяти предварительный просмотр карт может не отображаться, или в процессе восстановления статус может измениться на переподключение. Чтобы повысить производительность предварительного просмотра, рассмотрите следующее:
- Для любого типа геометрии рассмотрите возможность добавления фильтра к набору данных с помощью инструмента Фильтр по атрибуту или Фильтр по экстенту.
- Для полигональной геометрии рассмотрите возможность ее генерализации с помощью инструмента Упростить геометрию.
Чтобы записать полный набор данных в векторный слой, убедитесь, что вы удалили инструмент фильтрации или упрощения перед запуском конвейера данных.
Запуск конвейера данных
Используйте кнопку Запустить на схеме конвейера данных, чтобы запустить настроенные процессы. Для запуска конвейера данных необходимо настроить хотя бы один выходной элемент Векторного слоя. Доступ к результатам задания и сообщениям можно получить из консоли информации о последнем запуске. Вы можете щелкнуть результат, чтобы открыть страницу сведений об элементе.
Чтобы запустить конвейер данных по автоматическому расписанию, можно создать задачу. Дополнительные сведения о создании запланированных задач для Data Pipelines см. в разделе Планирование запуска конвейера данных.