Traitement des données

ArcGIS Data Pipelines effectue un traitement par lots sur les données vectorielles et tabulaires stockées, telles que les données d’une couche d’entités, d’un stockage Cloud ou d’un object store tel que Amazon S3 et Google BigQuery. Data Pipelines procure des fonctionnalités liées à la préparation et à l’ingénierie des données grâce auxquelles vous pouvez combiner des données et en créer d’autres de manière à les intégrer dans ArcGIS. Le traitement qui peut être effectué utilise des outils qui constituent des jeux d’outils dans les catégories suivantes :

• Clean (Nettoyer) : permettent de nettoyer les données. Vous pouvez supprimer les champs inutiles, par exemple. Vous pouvez également modifier les champs ou remplir des valeurs manquantes.
• Construct (Construire) : permet de créer des champs qui découlent de champs existants ou des propriétés de la couche. Vous pouvez, par exemple, ajouter et calculer un nouveau champ, normaliser, transformer ou reclasser un champ existant et ajouter un champ en fonction de la géométrie de la couche en entrée.
• Format : permet de modifier le format des champs ou de réorganiser les champs dans la classe d’entités ou table. Vous pouvez par exemple convertir des champs temporels, coder des champs catégoriels ou réduire les dimensions des champs existants.
• Integrate (Intégrer) : permet d’intégrer ou d’ajouter des données d’une autre source de données dans la classe d’entités ou table en entrée. Vous pouvez par exemple joindre des champs ou ajouter des champs en enrichissant les données.
• Jeux de données en sortie - Choisissez le type de sortie à écrire et stockez le résultat.

Exemples

Les scénarios suivants sont des exemples d’utilisation de Data Pipelines :

• En tant que spécialiste des données, vous pouvez combiner des jeux de données disparates et calculer des variables sous forme de champs à l’aide des fonctions ArcGIS Arcade.
• En tant qu’analyste SIG, vous pouvez créer et partager des processus de préparation des données reproductibles.
• En tant qu’expert environnemental, vous pouvez combiner et normaliser des informations de champ, stockées sous forme d’une collection de fichiers .csv.

Outils

Les tableaux des sections ci-après présentent les outils des diverses catégories dans l’éditeur Data Pipelines.

Nettoyer

Les outils suivants font partie de la catégorie Clean (Nettoyer) :

Outil	Description
Filtrer par attribut	L’outil Filtrer par attribut renvoie un sous-ensemble d’un jeu de données selon une requête. La sortie est un nouveau jeu de données contenant uniquement les enregistrements répondant à la condition spécifiée dans la requête.
Filtrer selon l'étendue	L’outil Filtrer selon l’étendue renvoie un sous-ensemble d’un jeu de données en se basant sur l’étendue spatiale spécifiée. La sortie est un nouveau jeu de données contenant uniquement les enregistrements qui se trouvent géographiquement au sein de l’étendue spécifiée.
Supprimer les doublons	L’outil Supprimer les doublons supprime les enregistrements en double en fonction d’un ou de plusieurs champs clés. La sortie est un jeu de données sans enregistrements en double.
Sélectionner des champs	L’outil Sélectionner des champs conserve un ou plusieurs champs spécifiés dans le jeu de données en sortie. La sortie est un nouveau jeu de données contenant uniquement les champs spécifiés.
Simplifier la géométrie	L’outil Simplifier la géométrie simplifie la complexité des polylignes ou des polygones en supprimant les sommets superflus et en ne conservant que les sommets les plus critiques.

Construire

Les outils suivants font partie de la catégorie Construct (Créer) :

Outil	Description
Calculer un champ	L’outil Calculer un champ calcule les valeurs d’un champ nouveau ou existant. Vous pouvez utiliser les fonctions Arcade pour définir l’expression de calcul.
Créer date heure	L’outil Créer un champ de date/heure crée un champ de date/heure avec des valeurs de champ existantes.
Créer une géométrie	L’outil Créer une géométrie crée un champ de géométrie à l’aide d’un ou de plusieurs champs.

Format

Les outils suivants font partie de la catégorie Format :

Outil	Description
Apparier les champs	L’outil Apparier les champs transforme la structure d’un jeu de données en le faisant correspondre à une structure cible.
Projeter la géométrie	L’outil Projeter la géométrie projette un champ de géométrie dans une nouvelle référence spatiale.
Désimbriquer le champ	L’outil Désimbriquer le champ renvoie des valeurs stockées dans des champs de type tableau, carte ou struct sous la forme de nouveaux champs ou de nouvelles lignes.
Mettre à jour les champs	L’outil Mettre à jour des champs met à jour le nom ou le type d’un champ.

Intégrer

Les outils suivants font partie de la catégorie Integrate (Intégrer) :

Outil	Description
Joindre	L’outil Joindre joint des jeux de données en fonction des relations spécifiées. Les jeux de données peuvent être joints à l’aide d’attributs correspondants, de relations spatiales ou temporelles, voire d’une combinaison des trois.
Fusionner	L’outil Fusionner combine un ou plusieurs jeux de données en un nouveau jeu de données unique. Vous pouvez combiner des jeux de données ponctuelles, linéaires, surfaciques ou tabulaires.

Jeu de données en sortie

Le jeu de données en sortie suivant est pris en charge :

Outil	Description
Couche d'entités	La sortie Feature layer (Couche d’entités) écrit les jeux de données du pipeline de données dans une couche d’entités ou une table hébergée. Vous pouvez créer une couche d’entités ou une table, remplacer les données dans une couche d’entités ou une table existante ou bien ajouter et mettre à jour des enregistrements dans une couche d’entités ou une table existante.