URL publique

Utilisez des enregistrements issus d’une URL publique en entrée dans ArcGIS Data Pipelines.

Remarques sur l’utilisation

Tenez compte des points suivants lorsque vous utilisez des URL publiques :

• L’utilisation d’URL publiques en entrée permet de charger des données à partir d’une URL. Utilisez le paramètre URL pour indiquer le jeu de données à utiliser comme entrée dans votre pipeline de données. Seules les URL HTTP et HTTPS sont prises en charge.
• Utilisez le paramètre Data format (Format de données) pour spécifier le format des données de l’URL. Les options de format disponibles sont les suivantes :
  • CSV or delimited (CSV ou délimité) (par exemple, .csv, .tsv ou .txt)
  • JSON (.json)
  • GeoJSON (.geojson)
  • Parquet (.parquet)
• Si l’option de format CSV or delimited (CSV ou délimité) est spécifiée, les paramètres de définition de jeu de données suivants sont disponibles :
  • Delimiter (Délimiteur) - délimiteur utilisé pour fractionner les valeurs de champ (ou de colonne) et d’enregistrement (ou de ligne). La virgule (,) est le délimiteur par défaut. Les autres formats de délimiteur incluent, sans que cela soit exhaustif, les tabulations (\t), les points-virgules (;) et les barres verticales (|), ainsi que les barres obliques et barres obliques inverses (/ et \).
  • Has header row (Comporte une ligne d’en-tête) - Indique si le jeu de données contient une ligne d’en-tête. Par défaut, la valeur est définie sur true (vrai). Si la valeur est définie que false (faux), la première ligne du jeu de données est considérée comme un enregistrement.
  • Has multiline data (Comporte des données multilignes) - Indique si le jeu de données a des enregistrements contenant des caractères de nouvelle ligne. Par défaut, cette propriété est définie sur faux. Si la valeur est définie sur true (vrai), les données contiennent des données multilignes lues et mises en forme comme il convient.
  • Character encoding (Encodage des caractères) – Type d’encodage utilisé pour lire le jeu de données spécifié. La valeur par défaut est UTF-8. Vous pouvez choisir parmi les options d’encodage disponibles ou indiquez un type d’encodage. Les espaces ne sont pas pris en charge dans les valeurs d’encodage. Par exemple, la spécification d’une valeur ISO 8859-8 est incorrecte ; la valeur doit plutôt être spécifiée comme ISO-8859-8.
• L’option Fields (Champs) est disponible pour la configuration des noms et des types de champs lorsque le format des données a pour valeur CSV or delimited (CSV ou délimité). Le bouton Configure schema (Configurer la structure) ouvre une boîte de dialogue qui contient les champs de jeu de données avec les options suivantes :
  • Include or drop fields (Inclure ou supprimer des champs) – Vous pouvez supprimer des champs en cochant la case en regard du champ concerné. Par défaut, tous les champs sont inclus.
  • Field name (Nom de champ) - Nom du champ tel qu’il sera utilisé dans Data Pipelines. Cette valeur peut être modifiée. Par défaut, cette valeur sera identique à celle du champ dans le jeu de données source sauf si le nom source contient des caractères non valides ou est un mot réservé. Les caractères non valides seront remplacés par un trait de soulignement (_) et les mots réservés se verront ajouter un trait de soulignement (_) en préfixe.
  • Field type (Type de champ) – Type de champ tel qu’il est utilisé dans Data Pipelines. Cette valeur peut être modifiée.
  Le tableau suivant décrit les types de champ disponibles :

  Type de champ	Description
  Chaîne	Les champs de type chaîne prennent en charge une chaîne de caractères de texte.
  Entier petit	Les champs de type entier petit prennent en charge les nombres entiers compris entre -32768 et 32767.
  Entier	Les champs de type entier prennent en charge les nombres entiers compris entre -2147483648 et 2147483647.
  Entier très grand	Les champs de type entier très grand prennent en charge les nombres entiers compris entre -9223372036854776000 et 9223372036854776000.
  Flottant	Les champs de type flottant prennent en charge les nombres fractionnels compris approximativement entre -3,4E38 et 3,4E38.
  Double	Les champs de type double prennent en charge les nombres fractionnels compris approximativement entre -2,2E308 et 1,8E308.
  Date	Les champs de type date prennent en charge les valeurs au format yyyy-MM-dd HH:mm:ss, par exemple, la valeur 2022-12-31 13:30:30. Si les valeurs de date sont stockées dans un format différent, utilisez l’outil Créer un champ de date/heure pour calculer un champ de date.
  Booléen	Les champs de type booléen prennent en charge les valeurs True et False. Si un champ contient des représentations entières de valeurs booléennes (0 et 1), utilisez l’outil Mettre à jour des champs pour convertir les entiers en valeurs booléennes.

• Si l’option de format JSON est spécifiée, le paramètre Root property (Propriété racine) est disponible. Vous pouvez utiliser ce paramètre pour spécifier une propriété dans le fichier JSON à partir duquel les données sont lues. Vous pouvez référencer des propriétés imbriquées à l’aide d’un séparateur décimal entre chaque propriété, par exemple, property.subProperty. Par défaut, le fichier JSON entier est lu.
• Si l’option de format GeoJSON est spécifiée, le paramètre Geometry type (Type de géométrie) est disponible. Ce paramètre est facultatif. Par défaut, le type de géométrie dans le fichier GeoJSON est utilisé. Si le fichier GeoJSON contient plusieurs types de géométrie, vous devez indiquer la valeur de ce paramètre. Les types de géométrie mixtes ne sont pas pris en charge et seul le type spécifié est utilisé. Les options sont Point, Multipoint, Polyline (Polyligne) et Polygon (Polygone). Un champ de géométrie contenant les localisations des données GeoJSON est automatiquement calculé et ajouté au jeu de données en entrée. Le champ de géométrie peut être utilisé en entrée pour les opérations spatiales ou permet d’activer la géométrie sur le résultat en sortie.
• Pour améliorer les performances de lecture des jeux de données en entrée, vous pouvez utiliser les options suivantes :
  • Utilisez le paramètre Use caching (Utiliser la mise en cache) pour stocker une copie du jeu de données. La copie en cache est conservée uniquement si au moins un onglet de navigateur ouvert sur l’éditeur est connecté. Cela peut accélérer l’accès aux données lors du traitement. Si les données sources ont été mises à jour depuis leur mise en cache, désélectionnez ce paramètre et prévisualisez ou exécutez à nouveau l’outil.
  • Après avoir configuré un jeu de données en entrée, configurez l’un des outils suivants pour limiter la quantité de données traitées :
    • Filtrer par attribut - conserve un sous-ensemble d’enregistrements contenant certaines valeurs attributaires.
    • Sélectionner des champs - Conserve uniquement les champs d’intérêt.
    • Filtrer selon l’étendue - conserve un sous-ensemble d’enregistrements dans une certaine étendue spatiale.

Limitations

Les limitations connues sont les suivantes :

• Si l’URL spécifiée utilise des certificats HTTPS non valides ou si elle ne répond pas, vous ne pouvez pas utiliser le jeu de données comme entrée dans Data Pipelines.
• Si l’URL spécifiée ne peut pas être lue, mais que vous pouvez télécharger les données à partir de celle-ci, essayez d’utiliser les données téléchargées comme entrée de l’outil Fichier à la place.
• Une adresse IP personnalisée ne peut pas être utilisée comme URL. Seuls les noms de domaine sont pris en charge.
• Les URL utilisant le domaine arcgis.com ne sont pas prises en charge. Au lieu des URL ArcGIS, utilisez les outils d’entrée Fichier ou Couche d’entités.
• Les ports personnalisés ne sont pas pris en charge.
• Les URL de redirection sont susceptibles de ne pas être prises en charge. En savoir plus sur l’identification des redirections d’URL dans Data Pipelines Community
• Les fichiers JSON Esri (.esrijson) ne sont pas pris en charge.
• Si le jeu de données inclut des noms de champ comportant des espaces ou des caractères non valides, les noms sont automatiquement mis à jour pour utiliser des traits de soulignement à la place. Ainsi, un champ nommé Population 2022 est renommé en Population_2022 et un champ nommé %Employed est renommé en _Employed.

Licences requises

Les licences et configurations suivantes sont requises :

• Type d’utilisateur Creator ou GIS Professional
• Rôle d’éditeur, de facilitateur ou d’administrateur, ou rôle personnalisé équivalent

Afin d’en savoir plus sur la configuration requise pour Data Pipelines, reportez-vous à la rubrique Conditions requises.

Rubriques connexes

Pour plus d’informations, reportez-vous à la rubrique Configuration du jeu de données.