Fédération avec CKAN

Informations requises

Avant de commencer, votre instance CKAN doit être configurée correctement pour assurer la collecte. Il s'agit notamment d'installer et de configurer deux extensions qui sont développées et gérées par l'équipe CKAN et utilisées par Data.gov et d'autres pour collecter des jeux de données.

  1. Suivez la procédure décrite ici : https://github.com/ckan/ckanext-harvest/blob/master/README.rst si l'extension CKAN Harvesting n'est pas encore installée.
  2. Suivez la procédure décrite ici : https://github.com/ckan/ckanext-dcat/blob/master/README.md si l'extension CKAN DCAT n'est pas encore installée.
  3. Vérifiez que les services de collecte Gather_Consumer et Fetch_Consumer sont en cours d'exécution en arrière-plan.
    • Activez votre environnement Python local :/usr/lib/ckan/default/bin/activate
    • Activez le processus Gather : paster --plugin=ckanext-harvest harvester gather_consumer --config='/path/to/your config.ini'
    • Activez le processus Fetch : paster --plugin=ckanext-harvest harvester fetch_consumer --config='/path/to/your config.ini'

Collecter le catalogue ArcGIS Open Data

  1. Accédez à votre page d'administration de collecte CKAN et connectez-vous sur http://yourCKANinstance/harvest.
  2. Sélectionnez l'option d'ajout de la source de collecte et entrez des informations concernant votre site Open Data :
    • Renseignez l'URL avec http://yourOpenDataSite/data.json
    • Attribuez un titre à la source de collecte qui ressemble au titre de votre site Open Data.
    • (Facultatif) Renseignez la zone de description.
    • Sélectionnez le type de source : DCAT JSON Harvester.
    • Sélectionnez la fréquence de mise à jour : manuelle.
    • Cliquez sur l'option d'enregistrement lorsque vous avez terminé.
  3. Sélectionnez Admin, puis l'option permettant de réaliser une nouvelle collecte.
  4. Exécutez les tâches de collecte sur votre instance CKAN.
  5. Activez votre environnement Python : ./usr/lib/ckan/default/bin/activate.
  6. Entrez la commande : paster --plugin=ckanext-harvest harvester run --config='path/to/your config.ini'

CKAN va débuter le traitement de votre fichier data.json et importer tous vos jeux de données. Pour voir ce qui est collecté, affichez la source de collecte. Toutes vos descriptions, balises et distributions des jeux de données d'ArcGIS Open Data seront accessibles depuis l'instance de CKAN.

Remarque : vous pouvez constater un comportement inattendu lorsque vous tentez de prévisualiser un fichier CSV ou JSON pour la première fois. Open Data génère un cache de ces données et CKAN ne sait pas comment gérer ce cas lors du traitement des données. Ceci ne se reproduira pas lors de votre prochaine tentative de prévisualisation du fichier.