Интегрирование данных и управление каналами

Менеджеры сайта могут использовать каналы, доступные для сайта ArcGIS Hub, для объединения общедоступных ресурсов сайта с внешними каталогами и повышения уровня обнаружения с помощью поисковых систем и сторонних каталогов. Менеджеры и посетители могут использовать каналы, чтобы быть в курсе изменений в каталоге сайта.

Использование каналов каталога

Вы можете использовать каналы ArcGIS Hub, чтобы быть в курсе изменений в каталоге сайта, например добавления новых ресурсов. Для всех общедоступных сайтов Hub с общедоступными элементами в их каталоге в нижнем колонтитуле сайта и интерфейсе поиска появляется кнопка Изучить каналы. При выборе этой опции открывается отображение каналов и код, необходимый для добавления каждого из них. Hub поддерживает следующие каналы:

  • DCAT US 1.1 (<siteURL>/api/feed/dcat-us/1.1.json)
  • DCAT AP 2.1.1 (<siteURL>/api/feed/dcat-ap/2.1.1.json)
  • OGC API– Records (<siteURL>/api/search/definition)
  • RSS (<siteURL>/api/feed/rss/2.0)

Каналы DCAT

У каждого сайта есть каталог (библиотека ресурсов), содержащий ресурсы, которыми вы хотите поделиться через сайт. Чтобы интегрировать каталог своего сайта, можно опубликовать общедоступный канал без URL, который автоматически создаются для каждого публичного сайта Hub. Hub поддерживает два канала DCAT: DCAT US 1.1. и DCAT AP 2.1.1. Этот каталог канала, например www.yourhubsite.gov/api/feed/dcat-us/1.1.json, соответствует DCAT US 1.1. Также вы можете редактировать ресурсы каталога вашего сайта с помощью редактора конфигурации DCAT в Hub.

Внимание:

Каталог <DCAT type>.json заполняется только теми элементами данных, которые были опубликованы для общего доступа. Частные ресурсы из вашей организации в настоящее время не могут быть опубликованы или интегрированы с помощью каталога DCAT.

Примечание:

Каталог данных каждого сайта создает общедоступный выходной URL-адрес канала, соответствующий DCAT US 1.1, по адресу <siteURL> /data.json. В начале 2022 г. ArcGIS Hub перешел на новую точку доступа: /api/feed/dcat-us/1.1.json. Прочитайте статью Изменения в настройках DCAT сайтов ArcGIS Hub, чтобы узнать больше.

OGC API - записи

Используйте API OGC Records для обнаружения геопространственных ресурсов с помощью стандартизированных коллекций и метаданных ресурсов. С помощью этого канала вы можете программно запрашивать, фильтровать и выполнять поиск в каталоге сайта Hub. Используйте этот обозреватель для тестирования конечных точек API и поиска по каталогу без необходимости использования клиентского интерфейса поиска на сайте. Распространенные варианты использования включают в себя отображение объектов на карте в других инструментах, включая вьюер карт ArcGIS Online, настольные приложения ГИС, OWSLib и многое другое.

Каналы RSS

RSS - это формат для синдикации веб-ресурса и стандартный способ распространения метаданных о записях каталога, особенно в часто обновляемых или расширяемых каталогах. RSS-каналы содержат метаданные высокого уровня, такие как название, описание и дата публикации всех общедоступных ресурсов, размещенных на сайте. Редакторы сайта Hub могут выбирать отображаемые метаданные, т.е. переопределять значения метаданных по умолчанию и предоставлять значения, наиболее важные для пользовательских обновлений. Например, редактор сайта может настроить значения метаданных таким образом, чтобы при обновлении ресурса выделялись краткое описание и связанное с ним географическое местоположение. Пользователи могут отслеживать изменения в поисковом каталоге или загружать канал в RSS-ридер (агрегатор), чтобы продемонстрировать ресурс на другом сайте.

Настройка и управление каналами

Менеджеры сайта могут выбирать, какие атрибуты и значения применяются к выходному каналу сайта для DCAT US 1.1, DCAT AP 2.1.1 и RSS. Вы можете сохранить конфигурацию ArcGIS Hub по умолчанию или настроить определенные поля/атрибуты самостоятельно. В редакторе канала предоставьте действительные ключи, соответствующие метаданным набора данных.

  1. Выберите кнопку редактировать, чтобы открыть сайт в режиме редактирования.
  2. Выберите, чтобы открыть меню сайта на верхней панели навигации, и выберите Библиотека ресурсов.
  3. Выберите кнопку Больше действий больше действий и выберите Настроить каналы.
  4. Выберите канал для настройки. В редакторе Конфигурация скопируйте и вставьте свой код в любом месте после запятой и перед последней скобкой.
  5. Выберите Сохранить.

Пример схемы по умолчанию

ArcGIS Hub использует схему в формате JSON, чтобы определить, какие свойства метаданных отображаются для каждой записи в соответствующем канале. Ниже показан пример схема DCAT US 1.1 по умолчанию. Она содержит пары ключ/значение, например, "title”: “{{name}}” и “description”: {{description}}. Для каждой записи канала вы увидите ключ (“title”) и значение шаблона (“<item’s metadata title>”). Дизайн схемы основан на прямом соответствии метаданных элементов ArcGIS стандарту DCAT US 1.1.

Схема DCAT US 1.1 по умолчанию

{
	"title": "{{name}}",
	"description": "{{description}}",
	"keyword": "{{tags}}",
	"issued": "{{created:toISO}}",
	"modified": "{{modified:toISO}}",
	"publisher": {
		"name": "{{source}}"
	},
	"contactPoint": {
		"fn": "{{owner}}",
		"hasEmail": "{{orgContactEmail}}"
	},
	"spatial": "{{extent}}"
}

Можно отредактировать атрибут "spatial" каналов DCAT US и DCAT AP. Хаб будет использовать в новых шаблонах экстент элемента (по умолчанию). Для элементов без значения экстента пространственный атрибут удаляется. Вы можете заменить значение "spatial" альтернативным - "spatial": "{{extent || 'SPATIAL_FALLBACK'}}" и обновить шаблон по умолчанию.

Примеры пользовательских схем

Вы можете настроить схему, добавляя, обновляя и удаляя пары ключ/значение. Некоторые ключи, в зависимости от типа канала, редактировать нельзя. Ниже приводится пример пользовательской схемы DCAT US 1.1 с рядом модификаций, в частности:

  • Добавление пары ключ-значение
  • Обновление пары ключ-значение
  • Добавление запасной пары ключ-значение

Пользовательская схема DCAT US 1.1

{
 "title": "{{name}}",
"description": "{{description}}",
	"keyword": "{{tags}}",
	"issued": "{{created:toISO}}",
	"modified": "{{modified:toISO}}",
	"publisher": {
		"name": "{{source}}"
	},
	"contactPoint": {
		"fn": "{{owner}}",
		"hasEmail": "{{orgContactEmail}}"
	},
	"culture": "{{culture}}",
	"summary": "{{snippet}}",
	"platform": "ArcGIS Hub",
	"bureauCode": [
		"010:86",
		"010:04"
	],
	"programCode": [
		"015:001",
		"015:002"
	]
}
Примечание:

В пользовательской схеме DCAT US 1.1 появились пять новых ключей: “culture”, “summary”, “platform”, “bureauCode” и “programCode”. Для ключей “culture” и “summary” есть значения шаблона, полученные из Hub V3 API - последней версии Hub API. У ключей “platform”, “bureauCode” и “programCode” есть строковые литеральные значения.

Примеры пользовательских значений

Чтобы обеспечить соответствие стандартам метаданных организации, менеджеры сайтов могут решить скорректировать метаданные, отображаемые в канале. Ключом может быть любая символьная строка, такая как “title” или “”, но она, как правило, должна соответствовать целевому стандарту метаданных. Соответствующие значения могут быть строкой или шаблоном, который извлекает ключ из Hub V3 API. Для шаблонов вы можете указать любой ключ, возвращаемый API V3, - либо верхнего уровня, либо вложенный.

Например, на сайте dc.esri.com, где используются примеры каналов ArcGIS Hub, есть общедоступный слой под названием “USA Weather Watches and Warnings.” Вы можете изучить метаданные JSON для этого набора данных по ID слоя: c7a223914778420db8bf000b4eb6ec6f, используя Hub V3 API (https://hub.arcgis.com/api/v3/datasets/c7a223914778420db8bf000b4eb6ec6f). Если элемент содержит несколько слоев, добавьте номер слоя в конец ID элемента (`ID элемента>_<номер слоя>`).

Изучив этот пример ответа API вы увидите JSON, начинающийся с чего-то подобного:

Пример пользовательского значения DCAT US 1.1

"data": 
{
    "id": "c7a223914778420db8bf000b4eb6ec6f",
    "type": "dataset",
    "attributes": {
        "errors": [],
        "access": "public",
        "additionalResources": [],
  …
}

Если вы прокрутите вниз, вы увидите другие ключи для выбора и использования их в качестве значений шаблона в редакторе, например “created”, содержащий дату создания контента. Чтобы использовать значение из Hub API V3, в редакторе каналов добавьте значение шаблона для любого ключа Hub API V3 под “attributes”. Например, если вы хотите включить в записи канала значение “created”, например:

Пример пользовательского значения DCAT US 1.1

{
…
 	"bureauCode": ["010:86","010:04"],
 	"programCode": ["015:001","015:002"],
 	"created": 1610151009000,
…
}
В этом же примере вы бы добавили следующие строки в пользовательскую схему DCAT US 1.1:
{
…
  "bureauCode": [
   "010:86",
   "010:04"
],
  "programCode": [
   "015:001",
   "015:002"
],
  "created": "{{item.created}}"
…
}

Менеджеры ресурсов могут настраивать каналы для подключения дополнительных пользовательских рассылок. Они добавляются к существующим рассылкам, которые Hub автоматически создает для загружаемых ресурсов элемента содержимого.

Интеграция каталогов через каналы RSS

Редакторы каналов Hub позволяют менеджерам сайта стандартизировать метод описания данных. Менеджеры сайтов могут выбрать, какие значения метаданных будут отображаться для каждого набора данных канала до сбора данных.

Интеграция с Data.gov

В Соединенных Штатах вы можете изменить выходные данные, чтобы работать с крупными центрами обмена данных, например, с национальным каталогом Data.gov. Этот тип взаимодействия означает, что вы можете указать этим сторонним агрегаторам на множество форматов (дистрибутивов), в которых доступен набор данных. Дистрибутивы - это форматы, предлагаемые для использования в качестве веб-сервиса, загрузки или API.

Менеджеры сайта могут выбирать, какие атрибуты и значения применяются к выходному каналу DCAT US 1.1 сайта. В редакторе канала предоставьте действительные ключи, соответствующие метаданным набора данных.

Интеграция с CKAN

Если ваша организация использует программное обеспечение для каталогизации, такое как CKAN, или работает с другими организациями, которые его используют, вы можете интегрировать свой каталог данных сайта внутри хаба. Экземпляр CKAN должен быть правильно настроен для поддержки сбора данных. Во-первых, установите и настройте два расширения, которые разрабатываются и поддерживаются командой CKAN и используются Data.gov и другими каталогами для сбора наборов данных: расширение CKAN Harvesting и расширение CKAN DCAT.

Убедившись в том, что эти расширения установлены, убедитесь, что у вас есть сервисы Harvester Gather_Consumer и Fetch_Consumer, которые работают в качестве фоновых сервисов. Обратитесь к документации CKAN для получения дополнительных сведений.

Накопление каталога ArcGIS Hub

Чтобы собрать каталог , выполните следующие действия:

  1. Перейдите на страницу администрирования сбора данных CKAN и войдите в http://yourCKANinstance/harvest.
  2. Выберите Добавить источник данных и предоставьте сведения о своем сайте Hub:
    • Введите URL-адрес с http://yourOpenDataSite/data.json.
    • Присвойте источнику данных имя, похожее на имя вашего сайта сайта.
    • Дополнительно заполните поле описания.
    • Выберите DCAT JSON Harvester в качестве типа источника.
    • Для частоты обновления выберите Вручную.
    • По окончании щелкните Сохранить.
  3. Выберите Admin, затем Reharvest.
  4. Запустите задачи сбора данных на вашем экземпляре CKAN.

    CKAN обрабатывает ваш файл data.json и собирает все наборы данных. Вы можете видеть, какие данные собираются, просматривая источник накопленных данных. Все распространяемые с Hub описания, теги и наборы данных станут доступны на экземпляре CKAN.

Примечание:

Вы можете столкнуться с некоторыми задержками при первом предварительном просмотре файла .csv или файла .json, так как Hub создает кэш данных, и CKAN не может определить, как с этим справиться во время обработки данных. При следующем просмотре файла этого не произойдет.