Публичный URL

Используйте записи с общедоступного URL-адреса в качестве входных данных для ArcGIS Data Pipelines.

Примечания по использованию

При работе с общедоступными URL-адресами помните следующее:

• Использование входного публичного URL позволяет загружать данные с URL-адреса. Используйте параметр URL, чтобы указать набор данных, который будет использоваться в качестве входных данных для конвейера данных. Поддерживаются только URL-адреса HTTP и HTTPS.
• Используйте параметр Формат данных, чтобы указать формат данных из URL-адреса. Доступны следующие форматы:
  • CSV или с разделителями (например, .csv, .tsv и .txt)
  • JSON (.json)
  • GeoJSON(.geojson)
  • Parquet (.parquet)
  • GeoParquet (.geoparquet)
• Если указана опция формата CSV или с разделителями, доступны следующие параметры определения набора данных:
  • Разделитель — разделитель, используемый для разделения значений поля (или столбца) и записи (или строки). Разделитель по умолчанию — запятая (,). Другие общие форматы разделителей включают, помимо прочего, табуляцию (\t), точку с запятой (;), вертикальную черту (|), прямую и обратную косые черты (/ и \).
  • Содержит строку заголовка — Указывает, содержит ли набор данных строку заголовка. Значением по умолчанию является true. Если установлено значение false, первая строка набора данных будет считаться записью.
  • Содержит мультилинейные данные — Указывает, содержит ли набор данных записи, содержащие символы новой строки. Значением по умолчанию является false. Если установлено значение true, данные, содержащие мультилинейные данные, будут прочитаны и отформатированы корректно.
  • Кодировка символов — указывает тип кодировки, используемый для чтения указанного набора данных. По умолчанию это будет UTF-8. Вы можете выбрать один из доступных опций кодировки или указать тип кодировки. Пробелы не поддерживаются в значениях кодировки. Например формат значения ISO 8859-8 недопустим, должно быть ISO-8859-8.
• Поля доступны для настройки имен и типов полей, если значение формата данных — CSV или с разделителями. Кнопка Настроить схему открывает диалоговое окно, содержащее поля набора данных со следующими параметрами:
  • Включить или удалить поля — вы можете удалить поля, поставив отметку рядом с полем. По умолчанию включаются все поля.
  • Имя поля - имя поля, которое будет использоваться в Data Pipelines. Это значение можно изменить. По умолчанию это значение будет соответствовать полю исходного набора данных, если имя источника не содержит недопустимых символов и не является зарезервированным словом. Недопустимые символы будут заменены подчеркиванием (_), а зарезервированные слова будут содержать префикс - подчеркивание (_).
  • Тип поля — тип поля, который будет использоваться в Data Pipelines. Это значение можно изменить.
  В следующей таблице приводится описание доступных типов полей:

  Тип поля	Описание
  Строка	Текстовые поля поддерживают строку текстовых символов.
  Small integer	Поля типа Small integer поддерживают целые числа в диапазоне от -32768 до 32767.
  Integer	Поля типа Integer поддерживают целые числа в диапазоне от -2147483648 до 2147483647.
  Большое целое	Поля типа Big integer поддерживают целые числа в диапазоне от -9223372036854776000 до 9223372036854776000.
  Float	Поля типа с плавающей точкой поддерживают дробные числа приблизительно от -3.4E38 до 3.4E38.
  Double	Поля типа двойной точности поддерживают дробные числа приблизительно от -2.2E308 до 1.8E308.
  Date	Поля типа дата поддерживают значения в формате yyyy-MM-dd HH:mm:ss, например допустимо значение 2022-12-31 13:30:30. Если значения даты хранятся в другом формате, используйте инструмент Создать дату и время, чтобы вычислить поле дата.
  Boolean	Поля Boolean поддерживают значения True и False. Если есть поле, содержащее целочисленные представления значений Boolean (0 и 1), используйте инструмент Обновить поля, чтобы вместо этого привести целые числа к логическим значениям Boolean.

• Если указана опция формата JSON, доступен параметр Корневое свойство. С помощью этого параметра можно указать свойство в JSON для чтения данных. Вы можете ссылаться на вложенные свойства, используя десятичный разделитель между каждым свойством, например, property.subProperty. По умолчанию будет прочитан полный файл JSON.
• Если указана опция формата GeoJSON, доступен параметр Тип геометрии. Это дополнительный параметр. По умолчанию используется тип геометрии в файле GeoJSON. Если файл GeoJSON содержит несколько типов геометрии, необходимо указать значение этого параметра. Смешанные типы геометрии не поддерживаются, и будет использован только указанный тип. Возможны опции Точечный, Мультиточечный, Полилинейный и Полигональный. Поле геометрии, содержащее местоположения данных GeoJSON, будет автоматически рассчитано и добавлено во входной набор данных. Поле геометрии можно использовать в качестве входных данных для пространственных операций или для включения геометрии в выходной результат.
• Чтобы повысить производительность чтения входных наборов данных, рассмотрите следующие варианты:
  • Используйте параметр Использовать кэширование для сохранения копии набора данных. Кэшированная копия сохраняется только пока в браузере открыта хотя бы одна вкладка редактора. Это может ускорить доступ к данным во время их обработки. Если исходные данные были обновлены с момента их кэширования, отключите этот параметр и выполните предварительный просмотр или запустите инструмент еще раз.
  • После настройки входного набора данных настройте любой из следующих инструментов, которые ограничивают объем обрабатываемых данных:
    • Фильтр по атрибуту — Сохраняет поднабор записей, содержащих определенные значения атрибутов.
    • Выбрать поля — Сохраняет только поля интереса.
    • Фильтр по экстенту — Сохраняет поднабор записей в пределах определенного пространственного экстента.

Ограничения

Известны следующие ограничения:

• Если указанный URL-адрес использует недействительные сертификаты HTTPS или не отвечает, вы не можете использовать набор данных в качестве входных данных для Data Pipelines.
• Если указанный URL-адрес не может быть прочитан, но вы можете загрузить данные с него, попробуйте вместо этого использовать загруженные данные в качестве входных данных для инструмента Файл.
• Пользовательский IP-адрес нельзя использовать в качестве URL-адреса. Поддерживаются только доменные имена.
• URL-адреса, использующие домен arcgis.com, не поддерживаются. Вместо того, чтобы использовать URL-адреса ArcGIS в качестве входных данных, используйте инструменты входа Файл или Векторный слой.
• Пользовательские порты не поддерживаются.
• URL-адреса с перенаправлением могут не поддерживаться.

  Узнайте больше о диагностике перенаправлений URL-адресов в сообществе Data Pipelines.

• Файлы Esri JSON (.esrijson) не поддерживаются.
• Если набор данных содержит имена полей с пробелами или недопустимыми символами, имена автоматически обновляются для использования подчеркивания. Например, поле с именем Population 2022 переименовывается в Population_2022, а поле %Employed в _Employed.

Лицензионные требования

Требуется следующее лицензии и конфигурации:

• Тип пользователя Creator или Professional
• Роль Издатель, Посредник или Администратор, или эквивалентная пользовательская роль

Подробнее о системных требованиях Data Pipelines см. раздел Требования

Связанные разделы

Дополнительные сведения см. в разделе Конфигурация набора данных.