Здесь вы найдете ответы на часто задаваемые вопросы, касающиеся ArcGIS Data Pipelines.
- Что такое ArcGIS Data Pipelines?
- Потребляет ли Data Pipelines кредиты?
- Доступен ли Data Pipelines на ArcGIS Enterprise?
- Как мне получить доступ к Data Pipelines?
- Как начать работать с Data Pipelines?
- Какие данные я могу использовать в Data Pipelines?
- Могу ли я использовать слои ArcGIS Living Atlas в качестве входных данных для моего конвейера данных?
- Могу ли я подключиться к своим наборам данных на платформе Google Cloud?
- Мои данные были обновлены в исходном местоположении. Как мне синхронизировать мой набор данных в моем конвейере данных?
- Где я могу хранить свои результаты Data Pipelines? Могу ли я хранить их в Amazon S3?
- Сколько объектов можно записать в векторный слой или таблицу в Data Pipelines?
- Могу ли я геокодировать адреса, используя Data Pipelines?
- Какие инструменты появятся в будущих версиях?
- Могу ли я опубликовать конвейер данных?
- Есть ли способ отменить или повторить действие в редакторе Data Pipelines?
- Есть ли способ копировать и вставлять элементы на диаграмме?
- Могу ли я запланировать запуск конвейера данных?
- Чем Data Pipelines отличается от ArcGIS Velocity?
- Чем Data Pipelines отличается от ArcGIS Data Interoperability?
- Чем Data Pipelines отличается от ModelBuilder в Map Viewer?
- Я пользователь в новой организации и не могу получить доступ к Data Pipelines. Как мне быть?
Data Pipelines - это приложение ArcGIS Online, которое позволяет подключаться, обрабатывать и объединять данные из различных источников. Вы можете выполнить подготовку данных и сохранить результаты в своей веб-ГИС , чтобы завершить рабочие процессы вашей организации. Все это выполняется с помощью интуитивно понятного интерфейса, в котором вы можете создавать, запускать, сохранять, публиковать и воспроизводить свои рабочие процессы подготовки данных.
Да. Расход кредитов зависит от времени использования вычислительных ресурсов. Дополнительные сведения см. в разделе Вычислительные ресурсы.
Кредиты расходуются при работе вычислительного ресурса. Вычислительные ресурсы задействованы в следующих случаях:
- Интерактивное редактирование — при создании или редактировании конвейеров данных в редакторе кредиты расходуются, пока статус соединения — Подключено. Стоимость в кредитах составляет 50 кредитов в час, рассчитывается поминутно, минимум 10 минут.
- Задания — задания запускаются для запланированных задач конвейера данных, когда вы запускаете конвейер данных с помощью ArcGIS API for Python или когда вы используете опцию запуска Data Pipelines на странице галереи. Задания расходуют кредиты только во время работы конвейера данных. Кредиты начисляются за каждое прохождение по времени, необходимому для его завершения, из расчета 70 кредитов в час, из расчета за минуту. Минимальная плата за задание не взимается.
- После нажатия кнопки отключить всё в диалоговом окне сведений о подключении. Это отключает все подключенные редакторы, и кредиты не будут израсходованы до тех пор, пока хотя бы один редактор не будет повторно подключен.
- После того как все вкладки браузера с подключенными редакторами были закрыты в течение как минимум 10 минут. Кредиты за эти 10 минут не потребляются.
- Через 30 минут отсутствия активности во всех вкладках браузера с редактором. Статус будет показан как Отключено.
- Когда выполнение запланированной задачи конвейера данных завершено.
- Когда конвейер данных, запущенный с использованием ArcGIS API for Python, завершен.
Работать с Data Pipelines можно с помощью окна запуска приложений, выбрав Data Pipelines.
Для работы с Data Pipelines учетная запись пользователя должна иметь необходимые права доступа. См. раздел Требования для получения дополнительных сведений о необходимых правах доступа и требованиях при работе с Data Pipelines.
Если вы не уверены, соответствуете ли вы или ваша организация приведенным выше требованиям, обратитесь к администратору организации.
Чтобы начать работу с Data Pipelines, см. Учебное пособие: Создание конвейера данных. Руководство описывает ключевые компоненты для использования Data Pipelines, включая подключение к данным и их обработку, запуск конвейера данных и многое другое.
Для начала работы ознакомьтесь с дополнительными материалами в блогах Data Pipelines Community.
В качестве входных данных поддерживаются следующие типы данных:
- Amazon S3
- Векторные слои
- Файлы по общедоступным URL-адресам
- Файлы, загруженные в ресурсы
- Google BigQuery
- Хранилище Microsoft Azure
- Snowflake
См. связанную документацию по типу входных данных, чтобы узнать больше о поддерживаемых типах файлов и о том, как подключиться к набору входных данных.
Могу ли я использовать слои ArcGIS Living Atlas в качестве входных данных для моего конвейера данных?
Да. Вы можете использовать векторные слои ArcGIS Living Atlas в качестве входных данных. Чтобы добавить слой на диаграмму, см. Векторный слой. По умолчанию диалоговое окно просмотра векторного слоя открывается в разделе Мои ресурсы. Чтобы найти слой ArcGIS Living Atlas, переключитесь на Living Atlas в диалоговом окне.
Пока нет. В будущих выпусках будут поддерживаться следующие дополнительные типы внешних источников данных:
- Платформа Google Cloud
- Microsoft Azure Cosmos DB for PostgreSQL
- Данные, возвращаемые запросами API
Источники данных в этом списке не гарантируются для конкретной версии, и могут быть добавлены источники данных, которые не перечислены здесь. Если у вас есть предложения по источникам данных, которые улучшат ваши рабочие процессы, оставьте комментарий на форумах Сообщества Data Pipelines.
Мои данные были обновлены в исходном местоположении. Как мне синхронизировать мой набор данных в моем конвейере данных?
Если данные регулярно обновляются в исходном местоположении, и вы хотите использовать их в конвейере данных, не рекомендуется использовать для входных данных параметр Использовать кэширование. Если вы не используете кэширование, Data Pipelines считывает последние данные каждый раз, когда вы запрашиваете предварительный просмотр или запуск. Если вы используете кэширование, используются только данные, доступные на момент кэширования.
Если вы создали выходной векторный слой и вам необходимо обновить его последними данными, используйте параметры Заменить или Добавить и обновить инструмента Векторный слой и снова запустите конвейер данных. Вы можете автоматизировать повторный запуск конвейера данных, запланировав задачу для элемента конвейера данных. Дополнительные сведения об автоматизации рабочих процессов для конвейеров данных см. в разделе Планирование запуска конвейера данных.
Следующие инструменты могут быть включены в будущие версии:
- Найти и заменить - поиск в полях определенных значений и замена их новым значением.
- Геокодировать адреса - используйте строковые адреса из таблицы или файла, чтобы вернуть результаты геокодирования.
Инструменты в этом списке не гарантируются для любого выпуска, и инструменты, которые не перечислены здесь, могут быть добавлены. Если у вас есть предложения по поводу инструментов, которые улучшат ваши рабочие процессы, оставьте комментарий на форумах Сообщества Data Pipelines.
Да. Вы можете предоставлять общий доступ к элементам конвейера данных группам в вашей организации или всем пользователям. Только владелец элемента может редактировать элементы конвейера данных. Используйте общие группы обновлений, чтобы все участники группы могли редактировать и сохранять конвейер данных. Если конвейер данных используется совместно с группой, у которой нет общих возможностей обновления, вы можете сохранить конвейер данных как редактируемую копию в свих ресурсах, используя опцию Сохранить как на панели инструментов редактора.
Да. Вы можете создавать задачи для элементов конвейера данных, чтобы выполнять рабочие процессы по расписанию. Дополнительные сведения о создании задач для конвейеров данных см. в разделе Планирование запуска конвейера данных.
Есть определенное сходство между Data Pipelines и Velocity в ArcGIS Online. Оба приложения позволяют подключаться к внешним источникам данных и импортировать данные в ArcGIS Online для их использования по всей платформе ArcGIS. Однако они служат разным целям. Velocity специально разработан для обработки больших объемов данных в режиме реального времени, эффективно обрабатывая высокоскоростные потоки данных от датчиков и аналогичных источников. Он также ориентирован на обеспечение такой аналитики, как отслеживание устройств, выявление инцидентов и анализ закономерностей. Data Pipelines — это в первую очередь приложение для интеграции данных, которое фокусируется на задачах разработки данных, особенно для потоков данных, не основанных на датчиках. Velocity используется для обработки данных в режиме реального времени, Data Pipelines в большей степени ориентирован на управление и оптимизацию данных, которые требуют менее частого обновления.
Оба эти инструмента - это не требующие кода инструменты ETL для ArcGIS, поддерживающие интеграцию, преобразование и очистку данных. Но они очень разные с той точки зрения, что Data Pipelines является веб-приложением, которое доступно сразу в ArcGIS Online, а Data Interoperability является дополнительным модулем для ArcGIS Pro и требует отдельной лицензии и установки. Data Pipelines нацелен на интеграцию данных для ArcGIS Online с записью результатов в размещенном векторном слое, в то время как Data Interoperability поддерживает более широкий набор поддерживаемых входов и типов файлов, а также может записывать результаты обратно в источник.
ModelBuilder в Map Viewer и Data Pipelines схожи тем, что оба они предоставляют пользовательский интерфейс с минимальным написание кода и возможностью перетаскивания для создания повторяющихся рабочих процессов в веб-интерфейсе. Однако, имеются и некоторые ключевые отличия:
- ModelBuilder может использоваться для автоматизации рабочих процессов анализа с использованием инструментов анализа, доступных в Map Viewer; Data Pipelines может использоваться для автоматизации рабочих процессов интеграции и подготовки данных и включает инструменты, ориентированные на очистку, форматирование и подготовку данных для визуализации и последующего анализа.
- ModelBuilder поддерживает векторные слои и таблицы. Data Pipelines, с другой стороны, поддерживает векторные и табличные данные из различных источников, включая Amazon S3, Хранилище Microsoft Azure, Google BigQuery, Snowflake, векторные слои, загруженные локальные файлы и данные, считываемые непосредственно с URL-адресов.
- ModelBuilder — возможность, включенная в ArcGIS Online Map Viewer и интегрированная в анализ Map Viewer; Data Pipelines — приложение, которое используется независимо от Map Viewer.
Сервис Data Pipelines не заработает в вашей организации, пока не опубликован хотя бы один векторный слой. Подобное поведение имеют другие сервисы, такие как пространственный анализ, блокноты и т. д. Чтобы решить эту проблему, перейдите к своим ресурсам и создайте векторный слой. Это необходимо сделать один раз для каждой организации, а не для каждого пользователя. Если проблема сохраняется после публикации векторного слоя, обратитесь в Службу технической поддержки Esri.