Fédérer des données et gérer des flux de catalogue—ArcGIS Hub

Les éditeurs des sites publics peuvent utiliser les flux disponibles pour qu’un site ArcGIS Hub fédère le catalogue de contenu public du site avec des catalogues externes. Les flux de catalogue facilitent l’interopérabilité entre les catalogues de données et peuvent augmenter les taux de découverte via des moteurs de recherche et des catalogues tiers. Les gestionnaires et les visiteurs peuvent s’abonner aux flux pour suivre les modifications apportées aux catalogues de contenu.

Utiliser des flux de catalogue

Utilisez des flux Hub pour rester informé des modifications apportées au catalogue d’un site (l’ajout d’un nouveau contenu, par exemple). Pour tous les sites Hub publics comportant des éléments publics dans leur catalogue, un bouton Explore Feeds (Découvrir les flux) apparaît dans le pied de page du site et l’interface de recherche. Tandis que sur tous les sites publics, les flux sont activés par défaut, les éditeurs du site peuvent désactiver les flux pour les sites publics. Sélectionnez le bouton Explore feeds (Explorer les flux) pour afficher l’URL du flux du site et les pages d’exploration d’API. Hub prend en charge les flux suivants :

RSS (<siteURL>/api/feed/rss/2.0)
DCAT US 1.1 (<siteURL>/api/feed/dcat-us/1.1.json)
DCAT AP 2.1.1 (<siteURL>/api/feed/dcat-ap/2.1.1.json)
OGC API – Records (<siteURL>/api/search/definition)

Flux RSS

Le RSS (Really Simple Syndication) est un format de flux Web utilisé pour publier du contenu fréquemment mis à jour de manière standardisée, ce qui permet aux utilisateurs de s’abonner automatiquement et de recevoir des mises à jour. Les flux RSS contiennent des métadonnées de haut niveau telles qu’un titre, une description et une date de publication pour l’ensemble du contenu publiquement accessible partagé sur le site. Les utilisateurs peuvent rester informés des modifications apportées à un catalogue de recherche ou ajouter le flux dans un lecteur RSS (agrégateur) pour présenter le contenu sur un site différent. Hub respecte la spécification GeoRSS.

Flux DCAT

Chaque site comporte un catalogue de contenu regroupant les éléments que vous souhaitez partager par le biais du site. L’utilisation des flux DCAT pour décrire le contenu du catalogue peut augmenter la découvrabilité et permettre aux applications d’accéder aux métadonnées de plusieurs catalogues. Elle permet également d’effectuer une recherche de jeu de données fédéré dans les catalogues.

Fédérez le catalogue de votre site en partageant une URL en sortie de flux public qui est générée automatiquement pour chaque site Hub public. Hub prend en charge deux flux DCAT : DCAT US 1.1. et DCAT AP 2.1.1. Ce flux de catalogue, par exemple : www.yourhubsite.gov/api/feed/dcat-us/1.1.json, est conforme à la structure DCAT US 1.1. Vous pouvez également mettre à jour le contenu du catalogue de votre site à l’aide de l’éditeur de configuration DCAT dans Hub.

Conseil :

Seuls les éléments de données partagés publiquement et leurs couches alimentent le catalogue <DCAT type>.json. Le contenu privé dans votre organisation ne peut actuellement pas être partagé ou fédéré via la méthode de catalogue DCAT.

OGC API – Records

Utilisez OGC API – Records pour découvrir des ressources géospatiales à travers des collections et des métadonnées de ressources standardisées. Vous pouvez utiliser un programme pour interroger, filtrer et effectuer une recherche dans le catalogue d’un site Hub, y compris les éléments publics et privés (si vous disposez d’un jeton valide pour les éléments privés). Utilisez l’explorateur OGC API – Records pour tester les extrémités d’API et rechercher un catalogue sans utiliser l’interface de recherche cliente du site. Les cas d’utilisation courants sont notamment le rendu d’entités sur une carte dans d’autres outils dont ArcGIS Online Map Viewer, des applications de bureau SIG, OWSLib, etc.

Configurer et gérer les flux

Les flux sont disponibles pour les sites publics dont le catalogue comporte du contenu public. Les gestionnaires de sites peuvent choisir les attributs et les valeurs à appliquer au flux en sortie d’un site pour DCAT US 1.1, DCAT AP 2.1.1 et RSS. Vous pouvez conserver la configuration par défaut de Hub ou configurer vous-même certains champs/attributs. Dans l’éditeur de flux, vous devez indiquer les clés valides correspondant aux métadonnées d’un jeu de données. Les flux sont disponibles par défaut mais peuvent être désactivés dans l’espace de travail du site.

Pour configurer et gérer les flux, procédez comme suit :

Ouvrez un site en mode de mise à jour.
Sélectionnez le bouton Manage site (Gérer le site) pour ouvrir l’espace de travail du site.
Sélectionnez Settings (Paramètres) et la fenêtre Feed (Flux).
Pour activer les flux, sélectionnez Enable feeds (Activer les flux). Sous Feeds (Flux), sélectionnez un type de flux.
Dans l’éditeur Configuration, copiez et collez votre code à n’importe quel emplacement après une virgule et avant la dernière parenthèse.
Remarque :
Certains attributs ne peuvent pas être modifiés.
Conseil :
Le modèle de flux RSS présente une structure différente, qui ne vous permet pas d’ajouter une clé de niveau supérieur.
Sélectionnez Enregistrer.

Configuration du flux RSS

Les éditeurs de site Hub peuvent choisir quelles métadonnées afficher, c’est-à-dire remplacer les valeurs des métadonnées par défaut et fournir les valeurs qui sont les plus essentielles pour tenir les utilisateurs informés. Par exemple, un éditeur de site peut configurer des valeurs de métadonnées de façon à mettre en avant la date de mise à jour du contenu, une brève description et la position géographique associée.

Exemple de structure DCAT par défaut

Hub utilise une structure écrite au format JSON pour déterminer quelles propriétés de métadonnées doivent être affichées pour chaque enregistrement du flux correspondant. La structure DCAT US 1.1 par défaut est illustrée ci-après. Elle contient des paires de clé et de valeur, telles que "title”: “{{name}}” et “description”: {{description}}. Pour chaque enregistrement du flux, la clé ("title") et la valeur basée sur un modèle ("<titre des métadonnées de l’élément>") sont affichées. La conception de la structure repose sur l’appariement le plus simple entre les métadonnées de l’élément ArcGIS et la norme DCAT US 1.1.

Structure DCAT US 1.1 par défaut

{
	"title": "{{name}}",
	"description": "{{description}}",
	"keyword": "{{tags}}",
	"issued": "{{created:toISO}}",
	"modified": "{{modified:toISO}}",
	"publisher": {
		"name": "{{source}}"
	},
	"contactPoint": {
		"fn": "{{owner}}",
		"hasEmail": "{{orgContactEmail}}"
	},
	"spatial": "{{extent}}"
}

Vous pouvez modifier l'attribut "spatial" des flux DCAT US et DCAT AP. Le hub utilise l'étendue des éléments (par défaut) dans les nouveaux modèles. Pour les éléments sans valeur d'étendue, l'attribut spatial est supprimé. Vous pouvez remplacer la valeur "spatial" par une autre valeur ("spatial": "{{extent || 'SPATIAL_FALLBACK'}}") et mettre à jour le modèle par défaut.

Exemples de structures DCAT personnalisées

Pour personnaliser la structure, vous pouvez ajouter, mettre à jour et supprimer des paires clé-valeur. Selon le type de flux, certaines clés ne peuvent pas être mises à jour. Voici un exemple de structure DCAT US 1.1 personnalisée avec plusieurs modifications, notamment les suivantes :

Ajout d’une paire clé-valeur
Mise à jour d’une paire clé-valeur
Ajout d’une valeur de remplacement pour une paire clé-valeur

Conseil :

La conservation de flux valides est essentielle pour l’interopérabilité et la découvrabilité de votre contenu Hub public. Consultez les ressources appropriées avant d’ajouter ou de modifier des champs, car cela peut rendre le flux non valide (Hub ne valide pas les flux). Des flux non valides peuvent être à l’origine de problèmes de fédération du contenu du catalogue dans les sites tels que data.gov, data.europa.eu et d’autres emplacements qui consomment les flux. Validez vos flux avant et après les avoir personnalisés à l’aide du validateur DCAT US 1.1 et du validateur DCAT AP.

Structure DCAT US 1.1 personnalisée

{
 "title": "{{name}}",
"description": "{{description}}",
	"keyword": "{{tags}}",
	"issued": "{{created:toISO}}",
	"modified": "{{modified:toISO}}",
	"publisher": {
		"name": "{{source}}"
	},
	"contactPoint": {
		"fn": "{{owner}}",
		"hasEmail": "{{orgContactEmail}}"
	},
	"culture": "{{culture}}",
	"summary": "{{snippet}}",
	"platform": "ArcGIS Hub",
	"bureauCode": [
		"010:86",
		"010:04"
	],
	"programCode": [
		"015:001",
		"015:002"
	]
}

Remarque :

La structure DCAT US 1.1 personnalisée comprend l’ajout de cinq nouvelles clés : “culture”, “summary”, “platform”, “bureauCode” et “programCode”. Les valeurs des clés “culture” et “summary” sont des valeurs de modèle extraites d’OGC API – Records, la version la plus récente de l’API de Hub. Les valeurs des clés “platform”, “bureauCode” et “programCode” sont des valeurs de chaîne littérale.

Exemples de valeur personnalisée

Pour respecter les normes de métadonnées d’une organisation, les gestionnaires de sites doivent ajuster les métadonnées qui apparaissent dans un flux. Une clé peut être une chaîne littérale, telle que “title” ou “”, mais elle doit généralement être conforme à une norme de métadonnées cible. Les valeurs correspondantes peuvent être une chaîne littérale ou un modèle qui extrait une clé d’OGC API – Records. Pour les modèles, vous pouvez indiquer une clé renvoyée par OGC API – Records, de niveau supérieur ou imbriquée.

Par exemple, sur le site d’exemples de flux Hub sur dc.esri.com, il existe une couche publique intitulée « USA Weather Watches and Warnings ». Pour voir les métadonnées JSON correspondant à ce jeu de données, accédez à l’ID de la couche : c7a223914778420db8bf000b4eb6ec6f à l’aide d’OGC API – Records (https://hub.arcgis.com/api/search/v1/collections/all/items/c7a223914778420db8bf000b4eb6ec6f) ou https://hub.arcgis.com/api/search/v1/collections/all/items?id=c7a223914778420db8bf000b4eb6ec6f.

En ayant accès à la réponse de l’exemple d’API ci-dessus, vous devriez voir une réponse JSON commençant comme suit :

Exemple de valeur personnalisée DCAT US 1.1

"data": 
{
    "id": "c7a223914778420db8bf000b4eb6ec6f",
    "type": "dataset",
    "attributes": {
        "errors": [],
        "access": "public",
        "additionalResources": [],
  …
}

Faites défiler l’écran vers le bas pour afficher d’autres clés à sélectionner et à utiliser comme valeurs de modèle dans l’éditeur, notamment « "created" » qui représente la date à laquelle le contenu a été créé. Pour utiliser une valeur provenant d’OGC API – Records, dans l’éditeur de flux, ajoutez une valeur de modèle pour une clé d’OGC API – Records sous “attributes”. Par exemple, si vous souhaitez inclure « "created" » dans vos enregistrements de flux comme suit :

Exemple de valeur personnalisée DCAT US 1.1

{
…
 	"bureauCode": ["010:86","010:04"],
 	"programCode": ["015:001","015:002"],
 	"created": 1610151009000,
…
}

Dans ce même exemple, vous ajoutez les lignes suivantes à la structure DCAT US 1.1 personnalisée :

{
…
  "bureauCode": [
   "010:86",
   "010:04"
],
  "programCode": [
   "015:001",
   "015:002"
],
  "created": "{{item.created}}"
…
}

Les gestionnaires de contenu peuvent configurer un flux pour y inclure des distributions personnalisées supplémentaires. Ces distributions sont ajoutées aux distributions existantes générées automatiquement par Hub pour les ressources téléchargeables d’un élément de contenu.

Fédérer des catalogues via des flux Hub

Les éditeurs de flux Hub permettent aux gestionnaires de site de normaliser la façon dont ils décrivent leurs données. Les gestionnaires de site peuvent choisir les valeurs de métadonnées à afficher pour chacun des jeux de données du flux avant leur collecte.

Fédérer avec Data.gov

Aux États-Unis, vous pouvez changer votre sortie pour interagir spécifiquement avec des centres d’information de grande envergure, tels que le catalogue Data.gov national. Ce type d’interopérabilité signifie que vous pouvez diriger ces agrégateurs tiers vers les différentes distributions dans lesquelles un jeu de données est disponible. Les distributions sont les formats proposés pour utiliser un service Web, un téléchargement ou une API.

Les éditeurs de sites peuvent choisir quels attributs et quelles valeurs appliquer au flux en sortie DCAT US 1.1 d’un site. Dans l’éditeur de flux, vous devez indiquer les clés valides correspondant aux métadonnées d’un jeu de données.

Fédérer avec CKAN

Si votre organisation utilise un logiciel de classement, tel que CKAN, ou collabore avec d’autres organisations qui l’utilisent, vous pouvez fédérer le catalogue de données de votre site Hub. Votre instance CKAN doit être configurée correctement pour assurer le moissonnage de données. En premier lieu, installez et configurez deux extensions qui sont développées et gérées par l’équipe CKAN et utilisées par Data.gov et d’autres pour collecter des jeux de données : l’extension de collecte CKAN et l’extension CKAN DCAT.

Vérifiez que ces extensions sont installées, puis assurez-vous que les services de moissonnage Gather_Consumer et Fetch_Consumer sont en cours d’exécution en arrière-plan. Pour en savoir plus, consultez la CKAN.

Moissonner le catalogue ArcGIS Hub

Pour moissonner le catalogue , procédez comme suit :

Accédez à votre page d’administration de moissonnage CKAN et connectez-vous sur http://yourCKANinstance/harvest.
Sélectionnez Add harvest source (Ajouter la source de moissonnage) et fournissez les informations concernant votre site Hub :
- Renseignez l’URL avec <siteURL>/api/feed/dcat-us/1.1.json.
- Attribuez un titre à la source de collecte qui ressemble au nom de votre site. Renseignez éventuellement la zone de description.
- Sélectionnez le type de source DCAT JSON Harvester (Moissonneur JSON DCAT).
- Pour la fréquence de mise à jour, sélectionnez Manual (Manuelle).
- Sélectionnez Enregistrer.
Sélectionnez Admin, puis Reharvest (Remoissonner).
Exécutez les tâches de moissonnage sur votre instance CKAN.
CKAN traite votre fichier .json et inclut tous vos jeux de données. La source de collecte indique ce qui est collecté. Les métadonnées de l’élément et de la couche, y compris les descriptions, balises et distributions de format de téléchargement issues de Hub sont accessibles à partir de l’instance CKAN.

Remarque :

Les flux de catalogue utilisent automatiquement l’API de téléchargement v1 (l’ancienne API de téléchargement utilisée est supprimée).

Vous avez un commentaire à formuler concernant cette rubrique ?

Utiliser des flux de catalogue

Flux RSS

Flux DCAT

Conseil :

OGC API – Records

Configurer et gérer les flux

Remarque :

Conseil :

Configuration du flux RSS

Exemple de structure DCAT par défaut

Exemples de structures DCAT personnalisées

Conseil :

Remarque :

Exemples de valeur personnalisée

Fédérer des catalogues via des flux Hub

Fédérer avec Data.gov

Fédérer avec CKAN

Moissonner le catalogue ArcGIS Hub

Remarque :

Dans cette rubrique