ArcGIS Data Pipelines realiza el procesamiento por lotes en datos vectoriales y tabulares almacenados, como datos en una capa de entidades, o una nube o un almacén de objetos como Amazon S3 y Google BigQuery. Data Pipelines proporciona capacidades de ingeniería y preparación de datos para que pueda combinar y crear sus datos e integrarlos en ArcGIS. El procesamiento que se puede realizar utiliza herramientas agrupadas en las siguientes categorías como conjuntos de herramientas:
- Limpiar: limpiar los datos. Por ejemplo, puede eliminar campos innecesarios. También puede modificar los campos o rellenar los valores que falten.
- Construir: crear campos derivados de campos o propiedades existentes en la capa. Por ejemplo, puede agregar y calcular un nuevo campo; estandarizar, transformar o reclasificar un campo existente; y agregar un campo basado en la geometría de la capa de entrada.
- Formato: cambiar el formato de los campos o reorganizar los campos en la tabla o clase de entidad. Por ejemplo, puede convertir campos de tiempo, codificar campos de categorías o reducir las dimensiones de los campos existentes.
- Integrar: integrar o agregar datos de otra fuente de datos a la tabla de entrada o clase de entidad. Por ejemplo, puede unir campos o agregar campos enriqueciendo los datos.
- Dataset de salida: elija el tipo de salida para escribir y almacenar el resultado.
Ejemplos
Los siguientes son escenarios de ejemplo en los que se puede utilizar Data Pipelines:
- Como científico de datos, puede combinar datasets dispares y calcular variables como campos utilizando funciones de ArcGIS Arcade.
- Como analista SIG, puede crear y compartir flujos de trabajo de preparación de datos reproducibles.
- Como científico medioambiental, puede combinar y estandarizar la información de campo que se almacena como una colección de archivos .csv.
Herramientas
Las tablas de las secciones siguientes describen las herramientas en las distintas categorías del editor de Data Pipelines.
Limpiar
Las siguientes herramientas están en la categoría Limpiar:
Herramienta | Descripción |
---|---|
La herramienta Filtrar por atributo devuelve un subconjunto de un dataset basado en una consulta. El resultado es un nuevo dataset que contiene solo los registros que cumplen la condición especificada en la consulta. | |
La herramienta Filtrar por extensión devuelve un subconjunto de un dataset basado en una extensión espacial especificada. El resultado es un nuevo dataset que contiene solo los registros que se encuentran geográficamente dentro de la extensión especificada. | |
La herramienta Eliminar duplicados elimina los registros duplicados en función de uno o varios campos clave. El resultado es un nuevo dataset sin registros duplicados. | |
La herramienta Seleccionar campos mantiene uno o más campos especificados en el dataset de salida. El resultado es un nuevo dataset que solo contiene los campos especificados. | |
La herramienta Simplificar geometría simplifica la complejidad de polilíneas o polígonos eliminando vértices innecesarios y conservando solamente los vértices más críticos. |
Construir
Las siguientes herramientas están en la categoría Construir:
Herramienta | Descripción |
---|---|
La herramienta Calcular campo calcula valores de campo para un campo nuevo o uno existente. Puede utilizar funciones de Arcade para definir la expresión de cálculo. | |
La herramienta Crear fecha hora crea un campo de fecha utilizando valores de campo existentes. | |
La herramienta Crear geometría crea un campo de geometría utilizando uno o varios campos. |
Formato
Las siguientes herramientas están en la categoría Formato:
Herramienta | Descripción |
---|---|
La herramienta Asignar campos transforma el esquema de un dataset al compararlo con un esquema objetivo. | |
La herramienta Pivote convierte un dataset largo en un dataset amplio utilizando valores diferentes de un campo existente para crear campos nuevos. | |
La herramienta Proyectar geometría proyecta un campo geométrico a una nueva referencia espacial. | |
La herramienta Desanidar campo devuelve valores almacenados en campos de matriz, mapa o struct como nuevos campos o filas. | |
La herramienta Actualizar campos actualiza un nombre o tipo de campo. |
Integrar
Las siguientes herramientas están en la categoría Integrar:
Herramienta | Descripción |
---|---|
La herramienta Disolver busca polígonos o polilíneas que se superponen o que comparten un límite común, o atributos comunes, y los fusiona para formar un polígono o una polilínea únicos. | |
La herramienta Unir une datasets basándose en las relaciones especificadas. Los datasets pueden unirse utilizando atributos coincidentes, relaciones espaciales, relaciones temporales o cualquier combinación de las tres. | |
La herramienta Fusionar combina uno o más datasets en un único dataset nuevo. Puede combinar datasets de puntos, líneas, polígonos o tablas. |
Dataset de salida
Se admite el siguiente dataset de salida:
Herramienta | Descripción |
---|---|
La Salida de capas de entidades escribe datasets de canalización de datos en una capa de entidades alojada o una tabla alojada. Puede crear una tabla o capa de entidades, sustituir los datos de una tabla o capa de entidades existente o agregar y actualizar registros a una tabla o capa de entidades existente. |