Skip To Content

Utiliser des enregistrements Google BigQuery

Utilisez des enregistrements issus d’une table Google BigQuery en entrée dans ArcGIS Data Pipelines.

Remarques sur l’utilisation

Gardez les points suivants à l’esprit lorsque vous utilisez Google BigQuery :

  • Pour utiliser un jeu de données issu de Google BigQuery, vous devez d’abord créer un élément de data store. Les éléments de data store stockent de manière sécurisée les identifiants et les informations de connexion qui permettent à Data Pipelines de lire les données. Pour créer un data store, suivez la procédure décrite dans la section Se connecter à Google BigQuery ci-dessous.
  • Pour modifier l’élément de data store que vous avez configuré, utilisez le paramètre Data store item (Élément de data store) pour supprimer l’élément actuellement sélectionné et choisissez l’une des options suivantes :
    • Add data store (Ajouter un data store) – Créez un nouvel élément de data store.
    • Select item (Sélectionner un élément) – Accédez à du contenu pour sélectionner un élément de data store existant.
  • Spécifiez le jeu de données à l’aide du paramètre Dataset (Jeu de données) et utilisez le paramètre Table pour indiquer la table contenant les données à utiliser.
  • Pour améliorer les performances de lecture des jeux de données en entrée, vous pouvez utiliser les options suivantes :
    • Utilisez le paramètre Use caching (Utiliser la mise en cache) pour stocker une copie du jeu de données. La copie en cache est conservée uniquement si au moins un onglet de navigateur ouvert sur l’éditeur est connecté. Cela peut accélérer l’accès aux données lors du traitement. Si les données sources ont été mises à jour depuis leur mise en cache, désélectionnez ce paramètre et prévisualisez ou exécutez à nouveau l’outil.
    • Après avoir configuré un jeu de données en entrée, configurez l’un des outils suivants pour limiter la quantité de données traitées :

Se connecter à Google BigQuery

Pour utiliser des données stockées dans Google BigQuery, suivez la procédure ci-après pour créer un élément de data store dans l’éditeur Data Pipelines :

  1. Dans la barre d’outils de l’éditeur Data Pipelines, cliquez sur Inputs (Entrées) et sélectionnez Google BigQuery.

    La boîte de dialogue Select a data store connection (Sélectionner une connexion à un data store) s’affiche.

  2. Sélectionnez Add a new data store (Ajouter un nouveau data store).
  3. Cliquez sur Next (Suivant).

    La boîte de dialogue Add a connection to a data store (Ajouter une connexion à un data store) apparaît.

  4. Indiquez le fichier de clé contenant les identifiants de connexion utilisés pour accéder au compte de service.
  5. Indiquez l’ID du projet contenant les données auxquelles vous souhaitez vous connecter.
  6. Cliquez sur Next (Suivant).

    La fenêtre des détails des éléments s’ouvre.

  7. Indiquez un titre pour le nouvel élément de data store.

    Ce titre apparaîtra dans le contenu du portail. Vous pouvez également stocker l’élément dans un dossier spécifique et indiquer des balises d’élément ou un résumé.

  8. Cliquez sur Create connection (Créer une connexion) pour créer l’élément de data store.

    Un élément Google BigQuery que vous pouvez configurer pour un certain jeu de données est ajouté dans la zone d’affichage.

Limitations

Les limitations connues sont les suivantes :

  • Les vues des jeux de données Google BigQuery ne sont pas prises en charge en entrée dans Data Pipelines.
  • Les tables externes Google BigQuery ne sont pas prises en charge en entrée dans Data Pipelines.
  • Les jetons d’actualisation ne sont pas pris en charge pour la connexion à Google BigQuery.
  • Pour utiliser un élément de data store afin de vous connecter à des sources de données externes, vous devez être le propriétaire de l’élément du data store. Les éléments de data store qui sont partagés avec vous ne sont pas pris en charge en entrée.

Licences requises

Les licences et configurations suivantes sont requises :

  • Type d’utilisateur Creator ou Professional
  • Rôle d’éditeur, de facilitateur ou d’administrateur, ou rôle personnalisé équivalent

Afin d’en savoir plus sur la configuration requise pour Data Pipelines, reportez-vous à la rubrique Conditions requises.