Fédérer des données et gérer des flux

Les gestionnaires de site peuvent utiliser les flux disponibles pour un site ArcGIS Hub afin de fédérer le contenu public du site à l’aide de catalogues externes et d’augmenter les taux de découverte via des moteurs de recherche et des catalogues tiers. Les gestionnaires et les visiteurs peuvent utiliser des flux pour se tenir informés des modifications apportées au catalogue du site.

Utiliser des flux de catalogue

Vous pouvez utiliser des flux ArcGIS Hub pour rester informé des modifications apportées au catalogue du site (l’ajout d’un nouveau contenu, par exemple). Pour tous les sites Hub publics comportant des éléments publics dans leur catalogue, un bouton Explore Feeds (Découvrir les flux) apparaît dans le pied de page du site et l’interface de recherche. Lorsque vous cliquez sur ce bouton, les flux s’affichent, ainsi que le code nécessaire à l’ajout de chacun. Hub prend en charge les flux suivants :

• DCAT US 1.1 (<siteURL>/api/feed/dcat-us/1.1.json)
• DCAT AP 2.1.1 (<siteURL>/api/feed/dcat-ap/2.1.1.json)
• OGC API– Records (<siteURL>/api/search/definition)
• RSS (<siteURL>/api/feed/rss/2.0)

Flux DCAT

Chaque site comporte un catalogue (bibliothèque de contenu) regroupant le contenu que vous souhaitez partager par le biais du site. Pour fédérer le catalogue de votre site, vous pouvez partager une URL en sortie de flux public qui est générée automatiquement pour chaque site Hub public. Hub prend en charge deux flux DCAT : DCAT US 1.1. et DCAT AP 2.1.1. Ce flux de catalogue, par exemple : www.yourhubsite.gov/api/feed/dcat-us/1.1.json, est conforme à la structure DCAT US 1.1. Vous pouvez également mettre à jour le contenu du catalogue de votre site à l’aide de l’éditeur de configuration DCAT dans Hub.

Attention :

Seuls les éléments de données qui sont partagés publiquement alimentent le catalogue <DCAT type>.json. Le contenu privé dans votre organisation ne peut actuellement pas être partagé ou fédéré via la méthode de catalogue DCAT.

Remarque :

Le catalogue de données de chaque site génère une URL en sortie de flux public conforme à la structure DCAT US 1.1 sur <siteURL>/data.json. Au début de l'année 2022, ArcGIS Hub a officiellement migré vers une nouvelle extrémité sur <siteURL>/api/feed/dcat-us/1.1.json. Lisez le blog Upcoming changes to DCAT confgurations on ArcGIS Hub sites pour en savoir plus.

OGC API - Records

Vous pouvez utiliser OGC API - Records pour découvrir des ressources géospatiales à travers des collections et des métadonnées de ressources standardisées. Ce flux vous permet d’interroger, de filtrer et de rechercher par programmation le catalogue d’un site Hub. Utilisez cet explorateur pour tester les extrémités d’API et rechercher un catalogue sans utiliser l’interface de recherche cliente du site. Les cas d’utilisation courants sont notamment le rendu d’entités sur une carte dans d’autres outils dont ArcGIS Online Map Viewer, des applications de bureau SIG, OWSLib, etc.

Flux RSS

RSS est un format de syndication de contenu Web et une méthode standard de dissémination des métadonnées sur des entrées de catalogue, notamment pour les catalogues fréquemment mis à jour ou complétés. Les flux RSS contiennent des métadonnées de haut niveau telles qu’un titre, une description et une date de publication pour l’ensemble du contenu publiquement accessible partagé sur le site. Les éditeurs de site Hub peuvent choisir quelles métadonnées afficher, c’est-à-dire remplacer les valeurs des métadonnées par défaut et fournir les valeurs qui sont les plus essentielles pour tenir les utilisateurs informés. Par exemple, un éditeur de site peut configurer des valeurs de métadonnées de façon à mettre en avant la date de mise à jour du contenu, une brève description et la position géographique associée. Les utilisateurs peuvent rester informés des modifications apportées à un catalogue de recherche ou ajouter le flux dans un lecteur RSS (agrégateur) pour présenter le contenu sur un site différent.

Configurer et gérer les flux

Les gestionnaires de sites peuvent choisir les attributs et les valeurs à appliquer au flux en sortie d’un site pour DCAT US 1.1, DCAT AP 2.1.1 et RSS. Vous pouvez conserver la configuration par défaut d’ArcGIS Hub ou configurer vous-même certains champs/attributs. Dans l’éditeur de flux, vous devez indiquer les clés valides correspondant aux métadonnées d’un jeu de données.

1. Cliquez sur le bouton de pour ouvrir le site en mode de mise à jour.
2. Sélectionnez pour ouvrir le menu du site dans la barre de navigation supérieure, puis choisissez Content Library (Bibliothèque de contenu).
3. Cliquez sur le bouton More actions (Plus d’actions) et sélectionnez Configure Feeds (Configurer les flux).
4. Sélectionnez un flux à configurer. Dans l’éditeur Configuration, copiez et collez votre code à n’importe quel emplacement après une virgule et avant la dernière parenthèse.
5. Sélectionnez Enregistrer.

Exemple de structure par défaut

ArcGIS Hub utilise une structure écrite au format JSON pour déterminer quelles propriétés de métadonnées doivent être affichées pour chaque enregistrement du flux correspondant. La structure DCAT US 1.1 par défaut est illustrée ci-après. Elle contient des paires de clé et de valeur, telles que "title”: “{{name}}” et “description”: {{description}}. Pour chaque enregistrement du flux, la clé ("title") et la valeur basée sur un modèle ("<titre des métadonnées de l’élément>") sont affichées. La conception de la structure repose sur l’appariement le plus simple entre les métadonnées de l’élément ArcGIS et la norme DCAT US 1.1.

Structure DCAT US 1.1 par défaut

{
	"title": "{{name}}",
	"description": "{{description}}",
	"keyword": "{{tags}}",
	"issued": "{{created:toISO}}",
	"modified": "{{modified:toISO}}",
	"publisher": {
		"name": "{{source}}"
	},
	"contactPoint": {
		"fn": "{{owner}}",
		"hasEmail": "{{orgContactEmail}}"
	},
	"spatial": "{{extent}}"
}

Vous pouvez modifier l'attribut "spatial" des flux DCAT US et DCAT AP. Le hub utilise l'étendue des éléments (par défaut) dans les nouveaux modèles. Pour les éléments sans valeur d'étendue, l'attribut spatial est supprimé. Vous pouvez remplacer la valeur "spatial" par une autre valeur ("spatial": "{{extent || 'SPATIAL_FALLBACK'}}") et mettre à jour le modèle par défaut.

Exemples de structures personnalisées

Pour personnaliser la structure, vous pouvez ajouter, mettre à jour et supprimer des paires clé-valeur. Selon le type de flux, certaines clés ne peuvent pas être mises à jour. Voici un exemple de structure DCAT US 1.1 personnalisée avec plusieurs modifications, notamment les suivantes :

• Ajout d’une paire clé-valeur
• Mise à jour d’une paire clé-valeur
• Ajout d’une valeur de remplacement pour une paire clé-valeur

Structure DCAT US 1.1 personnalisée

{
 "title": "{{name}}",
"description": "{{description}}",
	"keyword": "{{tags}}",
	"issued": "{{created:toISO}}",
	"modified": "{{modified:toISO}}",
	"publisher": {
		"name": "{{source}}"
	},
	"contactPoint": {
		"fn": "{{owner}}",
		"hasEmail": "{{orgContactEmail}}"
	},
	"culture": "{{culture}}",
	"summary": "{{snippet}}",
	"platform": "ArcGIS Hub",
	"bureauCode": [
		"010:86",
		"010:04"
	],
	"programCode": [
		"015:001",
		"015:002"
	]
}

Remarque :

La structure DCAT US 1.1 personnalisée comprend l’ajout de cinq nouvelles clés : “culture”, “summary”, “platform”, “bureauCode” et “programCode”. Les valeurs des clés “culture” et “summary” sont des valeurs de modèle extraites de l’API V3 de Hub, la version la plus récente de l’API de Hub. Les valeurs des clés “platform”, “bureauCode” et “programCode” sont des valeurs de littéral de chaîne.

Exemples de valeur personnalisée

Pour respecter les normes de métadonnées d’une organisation, les gestionnaires de sites doivent ajuster les métadonnées qui apparaissent dans un flux. Une clé peut être une chaîne littérale, telle que “title” ou “”, mais elle doit généralement être conforme à une norme de métadonnées cible. Les valeurs correspondantes peuvent être un littéral de chaîne ou un modèle qui extrait une clé de l’API V3 de Hub. Pour les modèles, vous pouvez indiquer une clé renvoyée par l’API V3, de niveau supérieur ou imbriquée.

Par exemple, sur le site d’exemples de flux ArcGIS Hub sur dc.esri.com, il existe une couche publique intitulée « USA Weather Watches and Warnings ». Pour voir les métadonnées JSON correspondant à ce jeu de données, accédez à l’ID de la couche : c7a223914778420db8bf000b4eb6ec6f à l’aide de l’API V3 de Hub (https://hub.arcgis.com/api/v3/datasets/c7a223914778420db8bf000b4eb6ec6f). Si l’élément comporte plusieurs couches, ajoutez le numéro de la couche à la fin de l’ID d’élément (`<item ID>_<layer number>`).

En ayant accès à la réponse de l’exemple d’API ci-dessus, vous devriez voir une réponse JSON commençant comme suit :

Exemple de valeur personnalisée DCAT US 1.1

"data": 
{
    "id": "c7a223914778420db8bf000b4eb6ec6f",
    "type": "dataset",
    "attributes": {
        "errors": [],
        "access": "public",
        "additionalResources": [],
  …
}

Faites défiler l’écran vers le bas pour afficher d’autres clés à sélectionner et à utiliser comme valeurs de modèle dans l’éditeur, notamment « "created" » qui représente la date à laquelle le contenu a été créé. Pour utiliser une valeur provenant de l’API V3 de Hub, dans l’éditeur de flux, ajoutez une valeur de modèle pour une clé de l’API V3 de Hub sous “attributes”. Par exemple, si vous souhaitez inclure « "created" » dans vos enregistrements de flux comme suit :

Exemple de valeur personnalisée DCAT US 1.1

{
…
 	"bureauCode": ["010:86","010:04"],
 	"programCode": ["015:001","015:002"],
 	"created": 1610151009000,
…
}

Dans ce même exemple, vous ajoutez les lignes suivantes à la structure DCAT US 1.1 personnalisée :

{
…
  "bureauCode": [
   "010:86",
   "010:04"
],
  "programCode": [
   "015:001",
   "015:002"
],
  "created": "{{item.created}}"
…
}

Les gestionnaires de contenu peuvent configurer un flux pour y inclure des distributions personnalisées supplémentaires. Ces distributions sont ajoutées aux distributions existantes générées automatiquement par Hub pour les ressources téléchargeables d’un élément de contenu.

Fédérer des catalogues via des flux Hub

Les éditeurs de flux Hub permettent aux gestionnaires de site de normaliser la façon dont ils décrivent leurs données. Les gestionnaires de site peuvent choisir les valeurs de métadonnées à afficher pour chacun des jeux de données du flux avant leur collecte.

Fédérer avec Data.gov

Aux États-Unis, vous pouvez changer la sortie pour l’adapter à des centres d’information de grande envergure, tels que le catalogue Data.gov national. Ce type d’interopérabilité signifie que vous pouvez diriger ces agrégateurs tiers vers les différents formats (distributions) dans lesquels un jeu de données est disponible. Les distributions sont les formats proposés pour utiliser un service Web, un téléchargement ou une API.

Les gestionnaires de sites peuvent choisir quels attributs et quelles valeurs appliquer au flux en sortie DCAT US 1.1 d’un site. Dans l’éditeur de flux, vous devez indiquer les clés valides correspondant aux métadonnées d’un jeu de données.

Fédérer avec CKAN

Si votre organisation utilise un logiciel de classement, tel que CKAN, ou collabore avec d’autres organisations qui l’utilisent, vous pouvez fédérer le catalogue de données de votre site Hub. Votre instance CKAN doit être configurée correctement pour assurer le moissonnage de données. En premier lieu, installez et configurez deux extensions qui sont développées et gérées par l’équipe CKAN et utilisées par Data.gov et d’autres pour collecter des jeux de données : l’extension de collecte CKAN et l’extension CKAN DCAT.

Une fois ces extensions installées, assurez-vous que les services de moissonnage Gather_Consumer et Fetch_Consumer sont en cours d’exécution en arrière-plan. Pour en savoir plus, consultez la CKAN.

Moissonner le catalogue ArcGIS Hub

Pour moissonner le catalogue , procédez comme suit :

1. Accédez à votre page d’administration de moissonnage CKAN et connectez-vous sur http://yourCKANinstance/harvest.
2. Sélectionnez Add harvest source (Ajouter la source de moissonnage) et fournissez les informations concernant votre site Hub :
   • Renseignez l’URL avec http://yourOpenDataSite/data.json.
   • Attribuez un titre à la source de collecte qui ressemble au titre de votre site.
   • Renseignez éventuellement la zone de description.
   • Sélectionnez le type de source DCAT JSON Harvester (Moissonneur JSON DCAT).
   • Pour la fréquence de mise à jour, sélectionnez Manual (Manuelle).
   • Sélectionnez Save (Enregistrer) lorsque vous avez terminé.
3. Sélectionnez Admin, puis Reharvest (Remoissonner).
4. Exécutez les tâches de moissonnage sur votre instance CKAN.

   CKAN traite votre fichier data.json et inclut tous vos jeux de données. Pour voir ce qui est moissonné, affichez la source de moissonnage. Toutes vos descriptions, balises et distributions de jeux de données issues de Hub sont accessibles à partir de l’instance CKAN.

Remarque :

Vous pouvez rencontrer un certain délai la première fois que vous prévisualisez un fichier .csv ou .json, car Hub génère un cache des données et CKAN ne parvient pas à savoir comment gérer la situation pendant le traitement des données. Ceci ne se reproduira pas lors de la prochaine prévisualisation du fichier.