Конвейеры данных, которые вы создаете в приложении ArcGIS Data Pipelines, хранятся как элементы в ваших ресурсах. Вы будете использовать редактор Data Pipelines для создания и редактирования конвейеров данных. В следующих разделах описан редактор конвейера данных и объясняется, как создать и запустить конвейер данных в редакторе.
Элементы конвейера данных
Ниже приведены элементы конвейера данных:
- Входные данные
- Входные данные используются для загрузки данных в конвейер данных для последующей обработки. Доступно множество типов источников входных данных. Для получения дополнительной информации об источниках и типах источников, см. раздел Конфигурация набора данных.
- В одном конвейере данных может быть несколько источников данных. В рабочем процессе конвейера данных необходим хотя бы один.
- Инструменты
- Инструменты обрабатывают данные, загружаемые из входных наборов данных.
- В одном конвейере данных может быть несколько инструментов.
- Одни инструменты могут быть связаны с другими, когда выходные данные одного инструмента становятся входными для другого.
- Чтобы узнать больше о доступных инструментах и способах их использования см. раздел Обработка данных.
- Выходные данные
- Выходные данные определяют, что будет сделано с результатами конвейера данных.
- Вы можете вывести результаты конвейера данных в новый векторный слой, заменить данные в существующем векторном слое или добавить и обновить существующие данные в векторном слое.
- В одном конвейере данных может быть несколько выходных данных.
- Вы можете настроить несколько выходных данных в качестве результата одного инструмента или входного набора данных. Для запуска конвейера данных необходим хотя бы один.
- Чтобы узнать больше о записи результатов, см. раздел Векторный слой.
Рабочий процесс конвейера данных
Рабочий процесс конвейера данных состоит из элементов, описанных выше: подключение к существующим данным, выполнение обработки данных и запись вновь подготовленных данных. Когда конвейер данных запущен, он создает один или несколько выходных данных. Все выходные результаты доступны в ваших ресурсах.
Подключение к данным
Первым шагом в создании конвейера данных является подключение к данным. На панели инструментов редактора, в разделе Входные данные, выберите тип источника для подключения. Например, выберите Векторный слой и перейдите к слою, или выберите Amazon S3 и перейдите к элементу хранилища данных, представляющему бакет и папку, содержащую набор данных. Чтобы узнать больше о подключении к данным и о том, как оптимизировать производительность чтения, см. раздел Конфигурация набора данных.
Выполнение обработки данных
Второй шаг – обработка входных данных. На панели инструментов редактора, в разделе Инструменты, выберите процесс, который необходимо выполнить для набора данных. Например, чтобы рассчитать местоположения для данных CSV и отфильтровать местоположения для определенной области интереса, вы можете использовать инструменты Создать геометрию и Фильтр по экстенту.
Чтобы указать набор данных для использования в качестве входных данных инструмента, выполните одно из следующих действий:
- Нарисуйте линию, перетащив указатель от соединителя одного элемента к другому.
- Используйте параметр набора входных данных, чтобы идентифицировать набор входных данных.
Обработка данных не является обязательной. После подключения к набору данных вы можете записать его как векторный слой без обработки.
Чтобы повысить производительность обработки конвейера данных, вы можете ограничить объем данных, с которыми работаете, с помощью одного или комбинации следующих инструментов:
- Выбрать поля — Сохраняет только поля интереса. Например, у вас есть набор данных переписи населения с полями за 2000 и 2010 годы, но вас интересует только 2010 год. Выберите только те поля, которые представляют значения за 2010 год.
- Фильтр по атрибуту — Сохраняет поднабор записей, содержащих определенные значения атрибутов. Например, отфильтруйте набор данных о землетрясениях для землетрясений магнитудой более 5,5.
- Фильтр по экстенту — Сохраняет поднабор записей в пределах определенного пространственного экстента. Например, отфильтруйте набор данных зон опасности наводнений в США по экстенту другого набора данных, представляющего границу штата.
Предварительный просмотр элементов конвейера данных
Используйте предварительный просмотр для изучения данных на любом этапе рабочего процесса. Предварительный просмотр включает следующие методы проверки данных:
- Предварительный просмотр таблицы
– Отобразить табличное представление данных. - Предварительный просмотр карты
— Отобразить местоположения набора данных на карте. В режиме предварительного просмотра карты вы можете перемещать, масштабировать карту и изучать атрибуты. - Схема
— Просмотреть схему набора данных. - Сообщения
— Просмотреть сообщения, возвращенные в результате действия предварительного просмотра.
Предварительный просмотр показывает до 8000 записей данных.
При предварительном просмотре полей даты и времени значения отображаются в часовом поясе вашего браузера. При записи значений в векторный слой они сохраняются в UTC.
Предварительный просмотр наборов данных со сложной геометрией может занимать большой объем доступной памяти. При превышении пороговых значений памяти предварительный просмотр карт может не отображаться, или в процессе восстановления статус может измениться на переподключение. Чтобы повысить производительность предварительного просмотра, можно выполнить следующие действия:
- Для любого типа геометрии рассмотрите возможность добавления фильтра к набору данных с помощью инструмента Фильтр по атрибуту или Фильтр по экстенту.
- Для полигональной геометрии рассмотрите возможность ее генерализации с помощью инструмента Упростить геометрию.
Чтобы записать полный набор данных в векторный слой, убедитесь, что вы удалили инструмент фильтрации или упрощения перед запуском конвейера данных.
Запуск конвейера данных
Используйте Запустить кнопку 
на панели действий канвы, чтобы запустить настроенные процессы. Для запуска конвейера данных необходимо настроить хотя бы один выходной элемент векторного слоя. Доступ к результатам задания и сообщениям можно получить из консоли информации о последнем запуске. Вы можете щелкнуть результат, чтобы открыть страницу элемента.
Чтобы запустить конвейер данных по автоматическому расписанию, можно создать задачу. Дополнительные сведения о создании запланированных задач для Data Pipelines см. в разделе Планирование запуска конвейера данных.
Добавление заметок в конвейер данных
Добавляйте заметки для документирования вашего рабочего процесса. Вы можете добавить заметку к определенному элементу на канве или к конвейеру данных в целом.
Чтобы добавить заметку к определенному элементу, выберите элемент и нажмите Заметки кнопку 
на панели действий элемента. После добавления заметки к элементу вы можете снова нажать кнопку Заметки, чтобы просмотреть или отредактировать заметку. Чтобы просмотреть все заметки элементов, нажмите кнопку Заметки на панели инструментов редактора и выберите Заметки элементов. Здесь вы можете удалить заметку элемента или щелкнуть заметку, чтобы открыть ее на канве, где вы можете просмотреть или отредактировать ее. На каждый элемент можно добавить только одну заметку. Заметки элементов ограничены 16 000 символами.
Чтобы добавить общую заметку к конвейеру данных, нажмите Заметки кнопку 
на панели инструментов редактора и выберите Общие заметки. Здесь вы можете создать, просмотреть, редактировать или удалить общую заметку. Для каждого конвейера данных может быть создана только одна общая заметка. Общие заметки ограничены 16 000 символами.
При копировании элемента заметки вместе с ним не копируются.
При сохранении существующего конвейера данных с заметками в качестве нового элемента, заметки сохраняются вместе с новым элементом.