Обработка данных

ArcGIS Data Pipelines выполняет пакетную обработку сохраненных векторных и табличных данных, таких как данные векторного слоя или облачного хранилища, или хранилища объектов, например Amazon S3 и Google BigQuery. Data Pipelines предоставляет возможность подготовки и проектирования данных, чтобы вы могли смешивать и создавать данные и интегрировать их в ArcGIS. Для обработки, которая может быть выполнена, используются инструменты, объединенные в следующие категории, называемые группами инструментов:

• Очистка – очистка данных. Например, вы можете удалить ненужные поля. Вы также можете изменить поля или заполнить пропущенные значения.
• Построение – создайте поля на основе существующих полей или свойств слоя. Например, вы можете добавить и вычислить новое поле, стандартизировать, трансформировать или переклассифицировать существующее поле, а также добавить поле на основе геометрии входного слоя.
• Форматирование – измените форматы полей или переорганизуйте поля в таблице или классе объектов. Например, вы можете конвертировать поля времени, перекодировать категорийные поля или сократить измерения в существующих полях.
• Интеграция – интегрируйте или добавляйте данные из другого источника во входную таблицу или класс объектов. Например, вы можете присоединить или добавить поля, обогатив данные.
• Выходные наборы данных — Выберите выходной тип, чтобы записывать и хранить результат.

Примеры

Ниже приведены примеры сценариев, в которых может быть использован Data Pipelines:

• Как специалист по исследованию данных, вы можете объединять разрозненные наборы данных и вычислять переменные как поля с помощью функций ArcGIS Arcade.
• Как аналитик ГИС, вы можете создавать воспроизводимые рабочие процессы подготовки данных и публиковать их.
• Как ученый-эколог, вы можете объединять и стандартизировать полевую информацию, которая хранится в виде коллекции файлов .csv.

Инструменты

В таблицах из разделов ниже описаны инструменты в различных категориях редактора Data Pipelines.

Очистка

Следующие инструменты доступны в категории Очистка:

Инструмент	Описание
Вырезать	Инструмент Вырезать извлекает входные записи, которые накладываются на записи вырезания.
Фильтр по атрибуту	Инструмент Фильтр по атрибуту возвращает подмножество набора данных на основе запроса. Результатом является новый набор данных, содержащий только те записи, которые соответствуют условию, указанному в запросе.
Фильтр по экстенту	Инструмент Фильтр по экстенту возвращает поднабор набора данных на основе указанного пространственного экстента (ограничивающая рамка). Результатом является новый набор данных, содержащий только те записи, которые географически находятся в пределах указанного экстента.
Найти и заменить	Инструмент Найти и заменить выполняет поиск определенных значений в строковых полях и заменяет их обновленными значениями.
Удалить дубликаты	Инструмент Удалить дубликаты»удаляет повторяющиеся записи на основе одного или нескольких ключевых полей. На выходе получается новый набор данных без дубликатов записей.
Выбрать поля	Инструмент Выбрать поля сохраняет одно или несколько указанных полей в выходном наборе данных. Результатом является новый набор данных, содержащий только указанные поля.
Упростить геометрию	Инструмент Упростить геометрию упрощает сложность полилиний или полигонов, удаляя ненужные вершины и сохраняя только самые важные вершины.

Построить

Следующие инструменты доступны в категории Построение:

Инструмент	Описание
Вычислить поле	Инструмент Вычислить поле вычисляет значения поля для нового или существующего поля. Вы можете использовать функции ArcGIS Arcade для определения выражения вычисления.
Создать буферы	Инструмент Создать буферы создает полигоны, которые покрывают заданное расстояние от точечной, полилинейной или полигональной геометрии.
Создать дату и время	Инструмент Создать дату и время создает поле дат, используя существующие значения полей.
Создать геометрию	Инструмент Создать геометрию создает поле геометрии с использованием одного или нескольких полей.

Формат

Следующие инструменты доступны в категории Формат:

Инструмент	Описание
Сопоставить поля	Инструмент Сопоставить поля преобразует схему набора данных, сопоставляя ее с целевой схемой.
Сведение	Инструмент Сведение преобразует длинный набор данных в широкий набор данных, используя различающиеся значения из существующего поля для создания новых полей.
Проецировать геометрию	Инструмент Проецировать геометрию проецирует поле геометрии в новую систему координат.
Развернуть поле	Инструмент Развернуть поле возвращает значения, хранящиеся в поле массива, карты, или структуры, как новые поля или строки.
Обновить поля	Инструмент Обновить поля обновляет имя поля или тип поля.

Интегрировать

Следующие инструменты доступны в категории Интегрировать:

Инструмент	Описание
Слияние	Инструмент Слияние находит полигоны или полилинии, которые перекрываются или имеют общую границу или общие атрибуты, и объединяет их в единый полигон или полилинию.
Соединение	Инструмент Соединение объединяет наборы данных на основе указанных отношений. Наборы данных можно объединять, используя совпадающие атрибуты, пространственные отношения, временные отношения или любую их комбинацию.
Слияние	Инструмент Слияние объединяет один или несколько наборов данных в один новый набор данных. Вы можете комбинировать точечные, линейные, полигональные или табличные наборы данных.
Суммировать атрибуты	Инструмент Суммировать атрибуты агрегирует записи и вычисляет статистику. Вы можете агрегировать все записи или выполнить агрегацию на основе сопоставления значений из одного или нескольких полей.

Выходные данные

Поддерживаются следующие типы выходных данных:

Инструмент	Описание
Векторный слой	Выходной векторный слой записывает наборы данных конвейера данных в размещенный векторный слой или размещенную таблицу. Вы можете создать векторный слой или таблицу, заменить данные в существующем векторном слое либо таблице или добавить и обновить записи в существующем векторном слое или таблице.
Файл	В выходные данные файла записываются наборы данных из конвейера обработки данных в файл формата CSV, GeoJSON или Apache Parquet, сохраняя его в ваших ресурсах. Можно создать новый файл или перезаписать существующий.
Векторный слой Parquet (бета)	Выходные данные векторного слоя Parquet (бета) записывают наборы данных конвейера обработки данных в векторный слой Parquet, размещаемый в ваших ресурсах. Вы можете создать новый векторный слой Parquet или перезаписать существующий. Используйте векторные слои Parquet для оптимизации хранения, а также в рабочих процессах визуализации в Map Viewer и других поддерживаемых приложениях.