Federar datos y administrar feeds de catálogos

Los editores de sitios públicos pueden utilizar los feeds disponibles para un sitio de ArcGIS Hub para federar el catálogo de contenido público del sitio con catálogos externos. Los feeds de catálogos facilitan la interoperabilidad entre catálogos de datos y pueden aumentar el descubrimiento a través de motores de búsqueda y catálogos de terceros. Los administradores y visitantes pueden suscribirse a feeds para monitorizar los cambios en los catálogos de contenidos.

Utilizar feeds de catálogo

Utilice los feeds de Hub para estar al tanto de los cambios en el catálogo del sitio, como la incorporación de contenido nuevo. Para todos los sitios públicos de Hub con elementos públicos en su catálogo, aparece el botón Explorar fuentes en el pie de página del sitio y la interfaz de búsqueda. Aunque todos los sitios públicos tienen los feeds activados de forma predeterminada, los editores de sitios pueden desactivarlos para los sitios públicos. Seleccione el botón Explorar feeds para mostrar la URL del feed del sitio y las páginas de exploración de API. Hub admite los siguientes feeds:

  • RSS (<siteURL>/api/feed/rss/2.0)
  • DCAT US 1.1 (<siteURL>/api/feed/dcat-us/1.1.json)
  • DCAT AP 2.1.1 (<siteURL>/api/feed/dcat-ap/2.1.1.json)
  • API de OGC – Registros (<siteURL>/api/search/definition)

Fuentes RSS

RSS (Really Simple Syndication) es un formato de feed web utilizado para publicar contenido actualizado con frecuencia de forma estandarizada y permite a los usuarios suscribirse y recibir actualizaciones automáticamente. Las fuentes RSS contienen metadatos de alto nivel como el título, la descripción y la fecha de publicación de todo el contenido disponible públicamente compartido en el sitio. Los usuarios pueden estar al día de los cambios en un catálogo de búsqueda o incorporar el feed en un lector de RSS (agregador) para mostrar el contenido en otro sitio. Hub cumple con especificación GeoRSS.

Feeds DCAT

Cada sitio tiene un catálogo de contenido que contiene los elementos que desea compartir a través del sitio. El uso de DCAT para describir el contenido de los catálogos puede aumentar la capacidad de descubrimiento y permitir que las aplicaciones accedan a los metadatos de varios catálogos. También hace posible la búsqueda federada de datasets en todos los catálogos.

Federe el catálogo de su sitio mediante el uso compartido de una URL de salida de feed público que se genera automáticamente para cada sitio público de Hub. Hub admite dos feeds DCAT: DCAT US 1.1. y DCAT AP 2.1.1. Este feed de catálogo (por ejemplo, www.yourhubsite.gov/api/feed/dcat-us/1.1.json) se ajusta a DCAT US 1.1. También puede editar el contenido del catálogo de su sitio utilizando el editor de configuración de DCAT de Hub.

Sugerencia:

Solo los elementos de datos compartidos públicamente y sus capas rellenan el catálogo <DCAT type>.json. Actualmente, el contenido privado de su organización no se puede compartir ni federar a través del método de catálogo de DCAT.

API de OGC - Registros

Utilice la API de OGC - Registros para descubrir recursos geoespaciales mediante metadatos de recursos y colecciones estandarizados. Es posible consultar, filtrar y buscar de forma programática en el catálogo de un sitio de Hub, incluidos los elementos públicos y privados (si se dispone de un token válido para los elementos privados). Utilice el explorador API de OGC - Registros para probar extremos de API y hacer búsquedas en un catálogo sin tener que utilizar la interfaz de búsqueda del cliente del sitio. Algunos usos habituales son la representación en pantalla de las entidades de un mapa en otras herramientas como ArcGIS Online Map Viewer, aplicaciones de escritorio de SIG y OWSLib, entre otras.

Configurar y administrar feeds

Los feeds están disponibles para los sitios públicos que tienen contenido público en su catálogo. Los administradores de sitios pueden elegir qué atributos y valores se aplican al feed de salida de un sitio para DCAT US 1.1, DCAT AP 2.1.1 y RSS. Puede mantener la configuración predeterminada de Hub o puede configurar ciertos campos o atributos personalmente. En el editor de feed, debe proporcionar claves válidas correspondientes a los metadatos de un dataset. Los feeds están disponibles de forma predeterminada, pero se pueden desactivar en el espacio de trabajo del sitio.

Para configurar y administrar feeds, siga estos pasos:

  1. Abra un sitio en el modo de edición.
  2. Seleccione el botón Administrar sitio configuración para abrir el espacio de trabajo del sitio.
  3. Seleccione Configuración y elija el panel Feed.
  4. Para habilitar los feeds, seleccione Habilitar feeds. En Feeds, seleccione un tipo de feed.
  5. En el editor de Configuración, copie y pegue su código en cualquier lugar, después de una coma y antes del último corchete.
    Nota:

    Algunos atributos no se pueden editar.

    Sugerencia:

    La plantilla de feeds RSS tiene otra estructura que no permite agregar una clave de nivel superior.

  6. Seleccione Guardar.

Configuración de feed RSS

Los editores del sitio de Hub pueden elegir los metadatos que se mostrarán, es decir, invalidar los valores de metadatos predeterminados y proporcionar valores que sean más importantes para las actualizaciones de los usuarios. Por ejemplo, el editor de un sitio puede configurar los valores de metadatos para resaltar cuándo se ha actualizado contenido, una breve descripción y la ubicación geográfica asociada.

Ejemplo de esquema DCAT predeterminado

Hub utiliza un esquema escrito en JSON para determinar qué propiedades de metadatos aparecen para cada registro en el feed correspondiente. A continuación, se muestra el esquema DCAT US 1.1 predeterminado. Contiene pares de clave/valor como "title”: “{{name}}” y “description”: {{description}}. Para cada registro del feed, verá la clave ("title") y el valor de plantilla ("<item’s metadata title>"). El diseño del esquema se basa en la representación cartográfica más sencilla entre los metadatos del elemento de ArcGIS y el estándar DCAT US 1.1.

Esquema DCAT US 1.1 predeterminado

{
	"title": "{{name}}",
	"description": "{{description}}",
	"keyword": "{{tags}}",
	"issued": "{{created:toISO}}",
	"modified": "{{modified:toISO}}",
	"publisher": {
		"name": "{{source}}"
	},
	"contactPoint": {
		"fn": "{{owner}}",
		"hasEmail": "{{orgContactEmail}}"
	},
	"spatial": "{{extent}}"
}

Puede editar el atributo "spatial" de los feeds DCAT US y DCAT AP. Hub utilizará la extensión del elemento (de forma predeterminada) en las nuevas plantillas. Para elementos sin valor de extensión, se elimina el atributo espacial. Puede anular el valor "spatial" con una alternativa: "spatial": "{{extent || 'SPATIAL_FALLBACK'}}" y actualizar la plantilla predeterminada.

Ejemplos de esquema DCAT personalizados

Puede personalizar el esquema agregando, actualizando o eliminando pares de clave/valor. Algunas claves no se pueden editar, en función del tipo de feed. A continuación, se muestra un esquema personalizado de DCAT US 1.1 con varias modificaciones, entre las que se incluyen las siguientes:

  • Agregar un par de clave/valor
  • Actualizar un par de clave/valor
  • Agregar una reserva para un par de clave/valor
Sugerencia:

Mantener unos feeds válidos es esencial para la interoperabilidad y la capacidad de descubrimiento de su contenido público de Hub. Consulte los recursos apropiados antes de agregar o modificar campos, ya que esto puede hacer que el feed no sea válido (Hub no valida los feeds). Los feeds no válidos pueden causar problemas con la federación de contenidos de catálogos en sitios como data.gov, data.europa.eu y otros lugares donde se consumen feeds. Valide sus feeds antes y después de personalizarlos utilizando el validador DCAT US 1.1 y el validador DCAT AP.

Esquema DCAT US 1.1 personalizado

{
 "title": "{{name}}",
"description": "{{description}}",
	"keyword": "{{tags}}",
	"issued": "{{created:toISO}}",
	"modified": "{{modified:toISO}}",
	"publisher": {
		"name": "{{source}}"
	},
	"contactPoint": {
		"fn": "{{owner}}",
		"hasEmail": "{{orgContactEmail}}"
	},
	"culture": "{{culture}}",
	"summary": "{{snippet}}",
	"platform": "ArcGIS Hub",
	"bureauCode": [
		"010:86",
		"010:04"
	],
	"programCode": [
		"015:001",
		"015:002"
	]
}
Nota:

El esquema personalizado de DCAT US 1.1 incluye la adición de cinco nuevas claves: “culture”, “summary”, “platform”, “bureauCode” y “programCode”. Las claves “culture” y “summary” tienen valores de plantilla que extraen de la API de OGC - Registros, la última versión de la API de Hub. Las claves “platform”, “bureauCode” y “programCode” tienen valores literales de cadena de caracteres.

Ejemplos de valores personalizados

Para que coincidan con los estándares de metadatos de una organización, muchos administradores de sitios querrán ajustar los metadatos que aparecen en un feed. Una clave puede ser cualquier cadena de caracteres literal como “title” o “” pero, por lo general, deben ajustarse a un estándar de metadatos de destino. Los valores correspondientes pueden ser una cadena de caracteres literal o una plantilla que extrae una clave de API de OGC - Registros. En el caso de las plantillas, es posible proporcionar cualquier clave devuelta por la API de OGC - Registros, ya sea de nivel superior o anidada.

Por ejemplo, en el sitio de ejemplo de feeds de Hub en dc.esri.com, hay una capa pública titulada «USA Weather Watches and Warnings» (Vigilancias y advertencias meteorológicas en EE. UU.). Es posible ver los metadatos JSON de ese dataset accediendo al Id. de la capa: c7a223914778420db8bf000b4eb6ec6f utilizando la API de OGC - Registros (https://hub.arcgis.com/api/search/v1/collections/all/items/c7a223914778420db8bf000b4eb6ec6f) o https://hub.arcgis.com/api/search/v1/collections/all/items?id=c7a223914778420db8bf000b4eb6ec6f .

Al acceder a la respuesta de API de ejemplo anterior, debería ver una respuesta JSON empezando por lo siguiente:

Ejemplo de valor personalizado de DCAT US 1.1

"data": 
{
    "id": "c7a223914778420db8bf000b4eb6ec6f",
    "type": "dataset",
    "attributes": {
        "errors": [],
        "access": "public",
        "additionalResources": [],
  …
}

Si se desplaza hacia abajo, verá más claves entre las que elegir y utilizar como valores de plantilla en el editor, como "created", que representa la fecha en la que se creó el contenido. Para utilizar un valor de la API de OGC - Registros, en el editor de feeds, agregue un valor de plantilla para cualquier clave de la API de OGC - Registros debajo de “attributes”. Por ejemplo, si desea incluir "created" en los registros del feed, como los siguientes:

Ejemplo de valor personalizado de DCAT US 1.1

{
…
 	"bureauCode": ["010:86","010:04"],
 	"programCode": ["015:001","015:002"],
 	"created": 1610151009000,
…
}
En este mismo ejemplo, agregaría las siguientes líneas al esquema personalizado de DCAT US 1.1:
{
…
  "bureauCode": [
   "010:86",
   "010:04"
],
  "programCode": [
   "015:001",
   "015:002"
],
  "created": "{{item.created}}"
…
}

Los administradores de contenido pueden configurar un feed para que incluya más distribuciones personalizadas. Se unen a las distribuciones existentes, que Hub genera automáticamente para los recursos descargables de un elemento de contenido.

Federar catálogos a través de feeds de Hub

Los editores de feed de Hub permiten a los administradores de sitios estandarizar cómo describen sus datos. Los administradores de sitios pueden elegir qué valores de metadatos se muestran para cada dataset del feed antes de que se recopile.

Federar con Data.gov

En Estados Unidos, es posible modificar la salida para interactuar específicamente con grandes centros de intercambio de datos, como el catálogo nacional Data.gov. Este tipo de interoperabilidad significa que puede dirigir estos agregadores de terceros a las diversas distribuciones en que está disponible un dataset. Las distribuciones son formatos ofrecidos para utilizarlos como un servicio web, una descarga o una API.

Los editores de sitios pueden elegir qué atributos y valores se aplican al feed de salida de DCAT US 1.1 de un sitio. En el editor de feed, debe proporcionar claves válidas correspondientes a los metadatos de un dataset.

Federar con CKAN

Si su organización utiliza software de catálogo como CKAN o trabaja con otras organizaciones que lo hacen, puede federar el catálogo de datos de su sitio de Hub. Debe configurar correctamente la instancia de CKAN para que permita la recopilación de datos. En primer lugar, instale y configure dos extensiones desarrolladas y mantenidas por el equipo de CKAN y que utilizan Data.gov y otros para recopilar datasets: la extensión de recopilación de CKAN y la extensión DCAT de CKAN.

Confirme que estas extensiones están instaladas y, a continuación, asegúrese de que los servicios Harvester Gather_Consumer y Fetch_Consumer se estén ejecutando como servicios en segundo plano. Consulte la documentación de CKAN para obtener más información.

Recopilar el catálogo de ArcGIS Hub

Para recopilar el catálogo, siga estos pasos:

  1. Vaya a la página de administración de la recopilación de CKAN e inicie sesión en http://yourCKANinstance/harvest.
  2. Seleccione la opción Add harvest source (Agregar un origen de recopilación) y proporcione información sobre su sitio de Hub:
    • Rellene la URL con <siteURL>/api/feed/dcat-us/1.1.json.
    • Asigne al origen de recopilación un título similar al nombre de su sitio. Si lo desea, rellene el cuadro de descripción.
    • Seleccione DCAT JSON harvester (Recopilador JSON de DCAT) como tipo de origen.
    • Para la frecuencia de actualización, seleccione Manual.
    • Seleccione Guardar.
  3. Seleccione Admin (Administrador) y seleccione Reharvest (Volver a recopilar).
  4. Ejecute los trabajos de recopilación en su instancia de CKAN.

    CKAN procesa su archivo .json e incluye todos sus datasets. El origen de recopilación muestra lo que se recopila. Los metadatos de elementos y capas, incluidas descripciones, etiquetas y distribuciones de formatos de descarga de Hub son accesibles desde la instancia CKAN.

Nota:

Losfeeds de catálogo utilizan automáticamente la API de descargas v1 (la API de descargas utilizada anteriormente ha quedado obsoleta).