ArcGIS Velocity получает данные для анализа в реальном времени и аналитики больших данных с помощью каналов или источников данных. Канал — это поток данных в реальном времени; источник данных загружает статические данные или данные почти в реальном времени при запуске аналитики в реальном времени, что делает их доступными для быстрого соединения, обогащения и геозонирования.
Канал следует использовать для использования данных в реальном времени или в качестве данных соединения для аналитических инструментов в аналитике в реальном времени.
Velocity обеспечивает упрощенный и контекстно-зависимый рабочий процесс для оптимизации взаимодействия с пользователем при настройке входных данных из канала или источника данных. Этот рабочий процесс настройки аналогичен для разных типов каналов и источников.
Задать параметры подключения и конфигурации
Первым шагом при настройке любого канала или источника данных является определение необходимых параметров подключения и конфигурации, чтобы Velocity мог подключиться к данным. Доступные параметры зависят от типа канала или источника данных.
Например, при настройке канала Kafka заполните параметры Broker и Topic, чтобы подключиться к данным. При настройке источника данных Amazon S3 вы должны предоставить все соответствующие значения параметров соединения, чтобы установить успешное соединение.
Далее Velocity проверяет соединение, используя предоставленные параметры конфигурации. Затем Velocity пытается сделать выборку данных и получить схему данных. Если не удалось подключиться и получить данные, обновите параметры конфигурации и попробуйте еще раз.
Подтвердить схему
Шаг Подтвердить схему отображает возвращенную схему, а также образец данных. В зависимости от формата данных доступно больше параметров для настройки синтаксического анализа данных в допустимую схему.
На этом шаге можно проверить и исправить имена полей, типы полей и форматы данных. Также можно повторно извлечь данные для получения новых образцов или получить схему после корректировки формата данных или параметров формата данных. Это гарантирует, что Velocity сможет определить формат данных, принимаемых каналом или источником данных.
Автоматическая выборка и получение схемы
На этапе Подтвердить схему Velocity подключается к указанному каналу или источнику данных, используя параметры подключения и конфигурации, которые вы установили на предыдущем шаге, и извлекает образцы данных.
Из образцов данных Velocity автоматически выводит формат данных и схему, которая состоит из имен полей и типов полей. Для некоторых форматов данных также определены ключевые поля геометрии, даты и времени.
Изменение типов полей и имен полей
Velocity отображает типы полей и имена полей, определенные в схеме на основе полученного образца данных.
Чтобы внести коррективы в полученную схему, выполните следующие действия:
- Измените параметры формата данных и измените выборку для схемы перед настройкой типов полей и имен полей.
Если формат данных или параметры формата данных меняются, и требуется получение схемы, любые сделанные изменения перезаписываются.
- Чтобы изменить тип поля, щелкните стрелку ниспадающего списка рядом с названием поля и выберите другой тип поля.
Вы не можете изменять типы полей при использовании определенных типов каналов или источников данных, таких как каналы векторных слоев или источники данных. Будьте осторожны при изменении типа поля по следующим причинам:
- Любой тип поля может быть изменен на поле строкового типа; однако, если вы попытаетесь изменить поле строкового типа, содержащее буквы, на поле целочисленного типа, во время приема данных произойдет ошибка.
- Изменение типа поля с float (Float32 или Float64) на integer (Int32 или Int64) не рекомендуется. Изменение типов полей не предназначено для конвертации числовых значений «на лету». Для некоторых форматов переключение с float на integer может привести к тому, что какое-либо значение будет пропущено.
- При необходимости обновите имена полей.
- Для отключения поля снимите отметку рядом с типом поля.
Это поле игнорируется при получении данных из источника. Рекомендуется отключить все ненужные поля для ускорения работы с используемым объемом данных.
Изменение формата данных и параметров формата данных
Velocity может использовать данные из различных типов каналов и источников данных в разнообразных форматах данных. Некоторые типы каналов и источников данных, такие как HTTP-Опрос, могут использовать данные в различных форматах. Другие типы каналов и источников данных, такие как Векторный слой, имеют четко зафиксированный формат данных.
Поддерживаются следующие форматы данных:
- Текст с разделителями
- JSON
- GeoJSON
- Esri JSON
- RSS
- GeoRSS
- Шейп-файл (доступен только для источников данных Amazon S3 и Azure Blob Store)
- Parquet (доступен только для источников данных Amazon S3 и Azure Blob Store)
Velocity автоматически пытается определить формат данных. Однако вы можете изменить полученный формат данных, если необходимо.
Кроме того, некоторые форматы данных имеют параметры, которые можно настроить в зависимости от того, как Velocity разбирает данные в схему. Например, формат данных с разделителями имеет два параметра: field delimiter и header row.
Изменение параметров формата данных и получение схемы
Используя образец полученных данных, Velocity пытается определить формат, схему и параметры данных.
Вы можете изменить параметры формата данных или указать другой формат данных. Для этого измените свойство формата данных и щелкните Получить схему, чтобы снова получить данные в соответствии с внесенными вами изменениями. Параметры обновляются соответствующим образом на основе полученных данных.
Например, если вы подключаетесь к источнику JSON с многоуровневым вложенным JSON и хотите собирать данные только с определенного узла JSON или хотите сгладить многоуровневый JSON для получения всех значений атрибутов, вы можете использовать параметры root node и flatten для настройки Velocity для непосредственного взаимодействия с данными JSON.
Данные выборки не возвращаются
Если выборочные данные не возвращаются в Velocity, попробуйте любое из следующего:
- Убедитесь, что параметры подключения и конфигурации верны.
- Щелкните Получить схему для повторной выборки, когда данные поступают или доступны.
- Предоставьте свои собственные образцы, скопировав записи.
Образцы могут быть проверены на предмет их формата данных и с целью получения правильной схемы.
- Вручную определите формат и схему данных.
Определение ключевых полей
Следующим шагом в настройке входных данных для нового канала или источника данных является определение ключевых полей. Ключевые поля используются для синтаксического анализа геометрии объекта из полей, построения дат из строк, указания полей времени начала и окончания и обозначения поля как track ID.
Местоположение
Для многих типов каналов и источников данных необходимо определить, как Velocity определяет геометрию объектов из наблюдений или записей. Геометрия может быть определена с помощью единого поля геометрии или полей X/Y. В качестве альтернативы вы можете загружать табличные данные без местоположения и не указывать поля геометрии.
Дата и время
Для объектов в канале или источнике данных могут быть доступны поля даты и времени. Если вы указываете, что данные содержат поля даты, также может потребоваться указать формат даты. Опциями являются Значения эпохи или Прочее (Строка). Если вы выберете Прочее (Строка), вы должны указать строковое значение Форматирование даты, чтобы Velocity мог преобразовать строку в дату.
Кроме того, можно выбрать ключевое поле для опции Время начала. Вам не нужно устанавливать время начала или время окончания для анализа и обработки данных. Однако некоторые инструменты анализа в реальном времени и аналитики больших данных требуют определения времени начала или времени начала и времени окончания для выполнения временного анализа.
Отслеживание
Ключевое поле, заданное для опции Track ID, является уникальным идентификатором в данных, который связывает объекты с определенными элементами. Например, грузовик может быть идентифицирован по номеру регистрационного знака, а воздушное судно - по присвоенному номеру рейса. Эти идентификаторы могут использоваться в качестве track ID для отслеживания объектов, связанных с конкретным сущностями реального мира или набором инцидентов.
Вам не нужно устанавливать поле track ID для анализа и обработки данных. Однако некоторые инструменты анализа в реальном времени и аналитики больших данных требуют, чтобы track ID был идентифицирован для канала или источника данных.
Запланировать интервал опроса
Хотя многие каналы являются каналами потоковой передачи данных, некоторые типы каналов требуют, чтобы данные извлекались через регулярные промежутки времени. Заданный интервал определяет, как часто канал подключается к источнику для получения данных. Вы можете установить интервал опроса для следующих типов каналов:
Сохранить
Последний шаг - указать название канала и, при желании, краткую информацию о канале; затем сохраните канал.