URL

Utilisez des enregistrements d’une URL ou d’une API comme entrée dans ArcGIS Data Pipelines.

Remarques sur l’utilisation

Gardez les points suivants à l’esprit lorsque vous utilisez des URL :

• Utilisez le paramètre URL pour indiquer le jeu de données à utiliser comme entrée dans votre pipeline de données. Seules les URL HTTP et HTTPS sont prises en charge.
• Il n’est pas recommandé d’utiliser des tables et couches d’entités ArcGIS comme entrée d’URL. Des couches d’entités ArcGIS doivent être ajoutées à votre contenu, puis utilisées comme entrée Feature layer (Couche d’entités). Pour découvrir comment ajouter une couche d’entités à votre contenu, reportez-vous à la rubrique Ajouter un service ou un document à partir d’une URL.
• Le paramètre This URL requires authentication (Beta) (Cette URL requiert une authentification [bêta]) détermine si l’URL requiert une authentification pour accéder aux données (activé) ou si les données sont accessibles publiquement (désactivé). Ce paramètre est actuellement en version bêta.
• Pour charger des données d’une URL qui requiert une authentification, vous devez au préalable créer un élément de connexion à un service. Les éléments de connexion à un service stockent de manière sécurisée les identifiants de connexion et les secrets à inclure dans la demande à l’URL. Pour créer une connexion à un service, suivez la procédure de la section Se connecter à des URL requérant une authentification ci-après. Cette fonctionnalité est actuellement en version bêta.
• Pour modifier l’élément de connexion à un service que vous avez configuré, utilisez le paramètre Service connection (Connexion au service) (bêta) pour supprimer l’élément actuellement sélectionné et choisissez l’une des options suivantes :
  • Add connection (Ajouter une connexion) : permet de créer un élément de connexion à un service.
  • Select item (Sélectionner un élément) : permet d’accéder à du contenu pour sélectionner un élément de connexion à un service existant.
  Ce paramètre est actuellement en version bêta.
• Utilisez le paramètre Custom headers (Beta) (En-têtes personnalisés [bêta]) pour spécifier les noms et valeurs des en-têtes à envoyer dans la demande d’URL. Par exemple, une API peut demander un en-tête de Content-type défini sur une certaine valeur. Il n’est pas recommandé de spécifier des informations d’identification ou des secrets comme en-têtes. Les informations d’identification et secrets doivent être stockés dans des éléments de connexion à un service. Ce paramètre est actuellement en version bêta.
• Utilisez le paramètre Response format (Format de la réponse) pour spécifier le format des données renvoyées par l’URL. Les options de format disponibles sont les suivantes :
  • CSV or delimited (CSV ou délimité) (par exemple, .csv, .tsv ou .txt)
  • JSON (.json)
  • GeoJSON (.geojson)
  • Parquet (.parquet)
  • GeoParquet (.parquet)
• Si l’option de format CSV or delimited (CSV ou délimité) est spécifiée, les paramètres de définition de jeu de données suivants sont disponibles :
  • Delimiter (Délimiteur) - délimiteur utilisé pour fractionner les valeurs de champ (ou de colonne) et d’enregistrement (ou de ligne). Vous pouvez sélectionner l’une des options suivantes ou saisir votre propre valeur :
    • Comma (,) (Virgule [,]) : les valeurs des champs et des enregistrements sont séparées par des virgules (,). Il s’agit de l’option par défaut.
    • Tab (\t) (Tabulation [\t]) : les valeurs des champs et des enregistrements sont séparées par des tabulations (\t).
    • Pipe (|) (Barre verticale [|]) : les valeurs des champs et des enregistrements sont séparées par des barres verticales (|).
    • Semicolon (;) (Point-virgule [;]) : les valeurs des champs et des enregistrements sont séparées par des points-virgules (;).
    • Space ( ) (Espace [ ]) : les valeurs des champs et des enregistrements sont séparées par des espaces ( ).
    Si vous saisissez votre propre valeur, elle doit comporter un ou deux caractères, espaces compris. Les délimiteurs de plus de deux caractères ne sont pas pris en charge.
  • Has header row (Comporte une ligne d’en-tête) - Indique si le jeu de données contient une ligne d’en-tête. Par défaut, la valeur est définie sur true (vrai). Si la valeur est définie que false (faux), la première ligne du jeu de données est considérée comme un enregistrement.
  • Has multiline data (Comporte des données multilignes) - Indique si le jeu de données a des enregistrements contenant des caractères de nouvelle ligne. Par défaut, cette propriété est définie sur faux. Si la valeur est définie sur true (vrai), les données contiennent des données multilignes lues et mises en forme comme il convient.
  • Character encoding (Encodage des caractères) – Type d’encodage utilisé pour lire le jeu de données spécifié. La valeur par défaut est UTF-8. Vous pouvez sélectionner l’une des options d’encodage disponibles ou indiquez un type d’encodage. Les espaces ne sont pas pris en charge dans les valeurs d’encodage. Par exemple, la spécification d’une valeur ISO 8859-8 est incorrecte ; la valeur doit plutôt être spécifiée comme ISO-8859-8.
• L’option Fields (Champs) est disponible pour la configuration des noms et des types de champs lorsque le format des données a pour valeur CSV or delimited (CSV ou délimité). Le bouton Configure schema (Configurer la structure) ouvre une boîte de dialogue qui contient les champs de jeu de données avec les options suivantes :
  • Include or drop fields (Inclure ou supprimer des champs) – Vous pouvez supprimer des champs en cochant la case en regard du champ concerné. Par défaut, tous les champs sont inclus.
  • Field name (Nom de champ) - Nom du champ tel qu’il sera utilisé dans Data Pipelines. Cette valeur peut être modifiée. Par défaut, cette valeur sera identique à celle du champ dans le jeu de données source sauf si le nom source contient des caractères non valides ou est un mot réservé. Les caractères non valides seront remplacés par un trait de soulignement (_) et les mots réservés se verront ajouter un trait de soulignement (_) en préfixe.
  • Field type (Type de champ) – Type de champ tel qu’il est utilisé dans Data Pipelines.

  Supprimer ou modifier des champs dans Data Pipelines ne modifie pas les données source.

  Le tableau suivant décrit les types de champ disponibles :

  Type de champ	Description
  Chaîne	Les champs de type chaîne prennent en charge une chaîne de caractères de texte.
  Entier petit	Les champs de type entier petit prennent en charge les nombres entiers compris entre -32768 et 32767.
  Entier	Les champs de type entier prennent en charge les nombres entiers compris entre -2147483648 et 2147483647.
  Entier très grand	Les champs de type entier très grand prennent en charge les nombres entiers compris entre -9223372036854776000 et 9223372036854776000.
  Flottant	Les champs de type flottant prennent en charge les nombres fractionnels compris approximativement entre -3,4E38 et 3,4E38.
  Double	Les champs de type double prennent en charge les nombres fractionnels compris approximativement entre -2,2E308 et 1,8E308.
  Date	Les champs de type date prennent en charge les valeurs au format yyyy-MM-dd HH:mm:ss, par exemple, la valeur 2025-12-31 13:30:30. Si les valeurs de date sont stockées dans un format différent, utilisez l’outil Créer un champ de date/heure pour calculer un champ de date.
  Date uniquement	Les champs de type date prennent en charge les valeurs au format yyyy-MM-dd, par exemple, la valeur 2025-12-31. Si les valeurs de date uniquement sont stockées dans un autre format, utilisez-les comme entrées de l’outil Calculate field (Calculer un champ) pour calculer un champ de date uniquement.
  Booléen	Les champs de type booléen prennent en charge les valeurs True et False. Si un champ contient des représentations entières de valeurs booléennes (0 et 1), utilisez l’outil Mettre à jour des champs pour convertir les entiers en valeurs booléennes à la place.

• Si l’option de format JSON est spécifiée, le paramètre Root property (Propriété racine) est disponible. Vous pouvez utiliser ce paramètre pour spécifier une propriété dans le fichier JSON à partir duquel les données sont lues. Vous pouvez référencer des propriétés imbriquées à l’aide d’un séparateur décimal entre chaque propriété, par exemple, property.subProperty. Par défaut, le fichier JSON entier est lu.
• Si l’option de format GeoJSON est spécifiée, le paramètre Geometry type (Type de géométrie) est disponible. Ce paramètre est facultatif. Par défaut, le type de géométrie dans le fichier GeoJSON est utilisé. Si le fichier GeoJSON contient plusieurs types de géométrie, vous devez indiquer la valeur de ce paramètre. Les types de géométrie mixtes ne sont pas pris en charge et seul le type spécifié est utilisé. Les options sont Point, Multipoint, Polyline (Polyligne) et Polygon (Polygone). Un champ de géométrie contenant les localisations des données GeoJSON est automatiquement calculé et ajouté au jeu de données en entrée. Le champ de géométrie peut être utilisé en entrée pour les opérations spatiales ou permet d’activer la géométrie sur le résultat en sortie.
• Pour améliorer les performances de lecture des jeux de données en entrée, vous pouvez utiliser les options suivantes :
  • Utilisez le paramètre Use caching (Utiliser la mise en cache) pour stocker une copie du jeu de données. La copie en cache est conservée uniquement si au moins un onglet de navigateur ouvert sur l’éditeur est connecté. Cela peut accélérer l’accès aux données lors du traitement. Si les données sources ont été mises à jour depuis leur mise en cache, désélectionnez ce paramètre et prévisualisez ou exécutez à nouveau l’outil.
  • Après avoir configuré un jeu de données en entrée, configurez l’un des outils suivants pour limiter la quantité de données traitées :
    • Filtrer par attribut - conserve un sous-ensemble d’enregistrements contenant certaines valeurs attributaires.
    • Filtrer selon l’étendue - conserve un sous-ensemble d’enregistrements dans une certaine étendue spatiale.
    • Sélectionner des champs - Conserve uniquement les champs d’intérêt.
    • Clip (Découper) : conservez un sous-ensemble d’enregistrements qui intersectent des géométries spécifiques.

Se connecter à des URL requérant une authentification (bêta)

Pour authentifier des URL sécurisées, créez un élément de connexion à un service dans l’éditeur Data Pipelines à l’aide de la procédure suivante :

1. Dans la barre d’outils de l’éditeur Data Pipelines, cliquez sur Inputs (Entrées) et sélectionnez URL.

   La boîte de dialogue Add a URL (Ajouter une URL) apparaît.

2. Dans le paramètre URL, spécifiez l’URL du jeu de données, qui doit commencer par https://.
3. Utilisez le paramètre Response format (Format de la réponse) pour spécifier le format du jeu de données renvoyé par l’URL.
4. Activez l’option This URL requires authentication (Beta) (Cette URL requiert une authentification [bêta]).
5. Sélectionnez Add new service connection (Ajouter une nouvelle connexion à un service).
6. Cliquez sur Next (Suivant).

   La boîte de dialogue Add a service connection (Ajouter une connexion à un service) apparaît.

7. Dans le paramètre Base URL (URL de base), spécifiez le nom de domaine auquel la connexion au service doit envoyer les informations d’identification ou les secrets.
8. Sélectionnez l’une des options suivantes dans le menu déroulant Authentication type (Type d’authentification) :
   • API key (Clé API) : requiert une clé d’API utilisée comme valeur d’en-tête ou paramètre de requête.
   • Basic (De base) : requiert un nom d’utilisateur et un mot de passe.
9. Spécifiez les valeurs des paramètres d’authentification. Utilisez l’aperçu dans la partie inférieure de la boîte de dialogue pour vérifier que le format respecte les exigences de l’URL.

   Si vous avez spécifié la API key (Clé API) à l’étape précédente, spécifiez les paramètres d’authentification suivants :

   • Parameter location (Emplacement du paramètre) : insique si la clé d’API est envoyée dans un paramètre d’en-tête ou de requête.
   • Parameter name (Nom du paramètre) : spécifie le nom du paramètre d’en-tête ou de requête.
   • API key (Clé API) : spécifie la clé d’API.
   • API key prefix (optional) (Préfixe de la clé d’API [facultatif]) : spécifie une valeur qui doit précéder la clé d’API (par exemple, "Bearer"). Ce paramètre est facultatif.

10. Cliquez sur Next (Suivant).

    La fenêtre des détails des éléments s’ouvre.

11. Spécifiez un titre pour le nouvel élément de connexion à un service.

    Ce titre apparaîtra dans votre contenu. Vous pouvez également stocker l’élément dans un dossier spécifique et indiquer des balises d’élément ou un résumé.

12. Cliquez sur Save (Enregistrer) pour créer l’élément de connexion à un service.

    Un élément d’URL est ajouté à la zone d’affichage.

Limitations

Les limitations connues sont les suivantes :

• Si votre organisation a bloqué les fonctions et applications bêta, vous ne pouvez pas accéder aux paramètres suivants :
  • Cette URL requiert une authentification (bêta)
  • Connexion au service (bêta)
  • En-têtes personnalisés (bêta)
  Ces fonctionnalités sont actuellement en version bêta. Si vous utilisez ces paramètres, partagez votre expérience et demandez de l’aide via le forum dédié au retour sur les fonctionnalités de la version bêta de la communauté Data Pipelines.
• Si l’URL spécifiée utilise des certificats HTTPS non valides ou si elle ne répond pas, vous ne pouvez pas utiliser le jeu de données comme entrée dans Data Pipelines.
• Si l’URL spécifiée ne peut pas être lue dans Data Pipelines, mais que vous pouvez en télécharger directement les données, essayez d’utiliser les données téléchargées comme entrée de l’outil File (Fichier) à la place.
• Une adresse IP personnalisée ne peut pas être utilisée comme URL. Seuls les noms de domaine sont pris en charge.
• Les URL utilisant le domaine arcgis.com ne sont pas prises en charge. Au lieu des URL ArcGIS, utilisez les outils d’entrée Fichier ou Couche d’entités.
• Les ports personnalisés ne sont pas pris en charge.
• Certaines valeurs d’en-tête ne sont pas prises en charge comme entrée du paramètre Custom headers (Beta) (En-têtes personnalisés [bêta]), y compris l’en-tête Authorization. Pour découvrir comment stocker les secrets de manière sécurisée, reportez-vous à la section Se connecter à des URL requérant une authentification.
• Les URL de redirection sont susceptibles de ne pas être prises en charge.

  En savoir plus sur le diagnostic des redirections d’URL dans la communauté Data Pipelines

• Les fichiers JSON Esri (.esrijson) ne sont pas pris en charge.
• Si le jeu de données inclut des noms de champ comportant des espaces ou des caractères non valides, les noms sont automatiquement mis à jour pour utiliser des traits de soulignement à la place. Ainsi, un champ nommé Population 2022 est renommé en Population_2022 et un champ nommé %Employed est renommé en _Employed.
• Pour utiliser un élément de connexion à un service pour se connecter à des URL nécessitant une authentification, vous devez être le propriétaire de l’élément. Les éléments de connexion à un service sont privés et ne peuvent pas être partagés.

Rubriques connexes

Pour plus d’informations, reportez-vous à la rubrique Configuration du jeu de données.