Здесь вы найдете ответы на часто задаваемые вопросы, касающиеся ArcGIS Data Pipelines.
- Что такое ArcGIS Data Pipelines?
- Потребляет ли Data Pipelines кредиты?
- Доступен ли Data Pipelines на ArcGIS Enterprise?
- Как мне получить доступ к Data Pipelines?
- Как начать работать с Data Pipelines?
- Какие данные я могу использовать в Data Pipelines?
- Могу ли я использовать слои ArcGIS Living Atlas в качестве входных данных для моего конвейера данных?
- Могу ли я подключиться к своим наборам данных на платформе Google Cloud?
- Мои данные были обновлены в исходном местоположении. Как мне синхронизировать мой набор данных в моем конвейере данных?
- Где я могу хранить свои результаты Data Pipelines? Могу ли я хранить их в Amazon S3?
- Сколько объектов можно записать в векторный слой или таблицу в Data Pipelines?
- Могу ли я геокодировать адреса, используя Data Pipelines?
- Какие инструменты появятся в будущих версиях?
- Могу ли я опубликовать конвейер данных?
- Есть ли способ отменить или повторить действие в редакторе Data Pipelines?
- Есть ли способ копировать и вставлять элементы на диаграмме?
- Могу ли я запланировать запуск конвейера данных?
- Чем Data Pipelines отличается от ArcGIS Velocity?
- Чем Data Pipelines отличается от ArcGIS Data Interoperability?
Data Pipelines - это приложение ArcGIS Online, которое позволяет подключаться, обрабатывать и объединять данные из различных источников. Вы можете выполнить подготовку данных и сохранить результаты в своей веб-ГИС , чтобы завершить рабочие процессы вашей организации. Все это выполняется с помощью интуитивно понятного интерфейса, в котором вы можете создавать, запускать, сохранять, публиковать и воспроизводить свои рабочие процессы подготовки данных.
Да. Расход кредитов зависит от времени использования вычислительных ресурсов. Дополнительные сведения см. в разделе Вычислительные ресурсы.
Кредиты расходуются при работе вычислительного ресурса. Вычислительные ресурсы задействованы в следующих случаях:
- Интерактивный — в редакторе кредиты расходуются, пока статус соединения отображается как Подключено. Кредиты не расходуются, если статус отображается как Отключено. При статусе Повторное подключение вычислительный ресурс активен, но кредиты не будут израсходованы за период переподключения, если повторное подключение не удалось. Если у вас открыто несколько вкладок браузера с редактором, кредиты не взимаются за каждую из них. Они взимаются только за то время, в течение которого хотя бы одна из них подключена.
- Запланированный — для запланированных задач конвейера данных кредиты расходуются во время работы конвейера данных. Кредиты потребляются за время, затраченное на выполнение.
- После того как все вкладки браузера с подключенными редакторами были закрыты в течение как минимум 10 минут. Кредиты за эти 10 минут не потребляются.
- Через 30 минут отсутствия активности во всех вкладках браузера с редактором. Статус будет показан как Отключено.
- Когда выполнение запланированной задачи конвейера данных завершено.
Работать с Data Pipelines можно с помощью окна запуска приложений, выбрав Data Pipelines.
Для работы с Data Pipelines учетная запись пользователя должна иметь необходимые права доступа. См. раздел Требования для получения дополнительных сведений о необходимых правах доступа и требованиях при работе с Data Pipelines.
Если вы не уверены, соответствуете ли вы или ваша организация приведенным выше требованиям, обратитесь к администратору организации.
Чтобы начать работу с Data Pipelines, см. Учебное пособие: Создание конвейера данных. Руководство описывает ключевые компоненты для использования Data Pipelines, включая подключение к данным и их обработку, запуск конвейера данных и многое другое.
Для начала работы ознакомьтесь с дополнительными материалами в блогах Data Pipelines Community.
В качестве входных данных поддерживаются следующие типы данных:
- Amazon S3
- Векторные слои
- Файлы по общедоступным URL-адресам
- Файлы, загруженные в ресурсы
- Google BigQuery
- Хранилище Microsoft Azure
- Snowflake
См. связанную документацию по типу входных данных, чтобы узнать больше о поддерживаемых типах файлов и о том, как подключиться к набору входных данных.
Могу ли я использовать слои ArcGIS Living Atlas в качестве входных данных для моего конвейера данных?
Да. Вы можете использовать векторные слои ArcGIS Living Atlas в качестве входных данных. Чтобы добавить слой на диаграмму, см. Векторный слой. По умолчанию диалоговое окно просмотра векторного слоя открывается в разделе Мои ресурсы. Чтобы найти слой ArcGIS Living Atlas, переключитесь на Living Atlas в диалоговом окне.
Пока нет. В будущих выпусках будут поддерживаться следующие дополнительные типы внешних источников данных:
- Платформа Google Cloud
- Microsoft Azure Cosmos DB for PostgreSQL
- Данные, возвращаемые запросами API
Источники данных в этом списке не гарантируются для конкретной версии, и могут быть добавлены источники данных, которые не перечислены здесь. Если у вас есть предложения по источникам данных, которые улучшат ваши рабочие процессы, оставьте комментарий на форумах Сообщества Data Pipelines.
Мои данные были обновлены в исходном местоположении. Как мне синхронизировать мой набор данных в моем конвейере данных?
Если данные регулярно обновляются в исходном местоположении, и вы хотите использовать их в конвейере данных, не рекомендуется использовать для входных данных параметр Использовать кэширование. Если вы не используете кэширование, Data Pipelines считывает последние данные каждый раз, когда вы запрашиваете предварительный просмотр или запуск. Если вы используете кэширование, используются только данные, доступные на момент кэширования.
Если вы создали выходной векторный слой и вам необходимо обновить его последними данными, используйте параметры Заменить или Добавить и обновить инструмента Векторный слой и снова запустите конвейер данных. Вы можете автоматизировать повторный запуск конвейера данных, запланировав задачу для элемента конвейера данных. Дополнительные сведения об автоматизации рабочих процессов для конвейеров данных см. в разделе Планирование запуска конвейера данных.
Следующие инструменты могут быть включены в будущие версии:
- Найти и заменить - поиск в полях определенных значений и замена их новым значением.
- Геокодировать адреса - используйте строковые адреса из таблицы или файла, чтобы вернуть результаты геокодирования.
Инструменты в этом списке не гарантируются для любого выпуска, и инструменты, которые не перечислены здесь, могут быть добавлены. Если у вас есть предложения по поводу инструментов, которые улучшат ваши рабочие процессы, оставьте комментарий на форумах Сообщества Data Pipelines.
Да. Вы можете предоставлять общий доступ к элементам конвейера данных группам в вашей организации или всем пользователям. Только владелец элемента может редактировать элементы конвейера данных. Используйте общие группы обновлений, чтобы все участники группы могли редактировать и сохранять конвейер данных. Если конвейер данных используется совместно с группой, у которой нет общих возможностей обновления, вы можете сохранить конвейер данных как редактируемую копию в свих ресурсах, используя опцию Сохранить как на панели инструментов редактора.
Да. Вы можете создавать задачи для элементов конвейера данных, чтобы выполнять рабочие процессы по расписанию. Дополнительные сведения о создании задач для конвейеров данных см. в разделе Планирование запуска конвейера данных.
Есть определенное сходство между Data Pipelines и Velocity в ArcGIS Online. Оба приложения позволяют подключаться к внешним источникам данных и импортировать данные в ArcGIS Online для их использования по всей платформе ArcGIS. Однако они служат разным целям. Velocity специально разработан для обработки больших объемов данных в режиме реального времени, эффективно обрабатывая высокоскоростные потоки данных от датчиков и аналогичных источников. Он также ориентирован на обеспечение такой аналитики, как отслеживание устройств, выявление инцидентов и анализ закономерностей. Data Pipelines — это в первую очередь приложение для интеграции данных, которое фокусируется на задачах разработки данных, особенно для потоков данных, не основанных на датчиках. Velocity используется для обработки данных в режиме реального времени, Data Pipelines в большей степени ориентирован на управление и оптимизацию данных, которые требуют менее частого обновления.
Для начала давайте разберемся, чем они похожи. Оба эти инструмента - это не требующие кода инструменты ETL для ArcGIS, поддерживающие интеграцию, преобразование и очистку данных. Но они очень разные с той точки зрения, что Data Pipelines является веб-приложением, которое доступно сразу в ArcGIS Online, а Data Interoperability является дополнительным модулем для ArcGIS Pro и требует отдельной лицензии и установки. Data Pipelines нацелен на интеграцию данных для ArcGIS Online с записью результатов в размещенном векторном слое, в то время как Data Interoperability поддерживает более широкий набор поддерживаемых входов и типов файлов, а также может записывать результаты обратно в источник.