Анализ в почти реальном времени

Одной из наиболее распространенных причин использования периодического запуска аналитики больших данных является выполнение обработки в почти реальном времени. Например, вы можете настроить аналитику больших данных на запуск через каждые несколько минут или часов, которая будет обрабатывать только самые последние записанные и сохраненные в слое объекты.

В качестве другого примера рассмотрим аналитику в реальном времени, настроенную на получение данных из канала, который собирает обновления местоположения автомобиля каждые 10 секунд. Такая аналитика в реальном времени записывает данные о событиях в выходной Векторный слой (новый) и вычисляет поле даты (с названием, например, process_timestamp) с помощью инструмента Вычислить поле со временем обработки события с использованием функции Arcade Date().

Примечание:

Рекомендуется использовать инструмент Вычислить поле в аналитике в реальном времени для записи даты и времени обработки, которая будет использоваться аналитикой больших данных для анализа в почти реальном времени, в векторный слой. Некоторые источники данных, используемые каналами, имеют характерную задержку в предоставлении данных или опроса, что может привести к тому, что объекты будут пропущены запросами полей временных меток.

Чтобы дополнить эту аналитику в реальном времени, можно настроить запланированный периодический запуск аналитики больших данных, которая использует выходные данные аналитики в реальном времени в качестве источника данных. В этой повторяющейся аналитике больших данных исходный Векторный слой настроен на сбор выходных данных векторного слоя, созданного аналитикой в реальном времени. При настройке источника векторного слоя на шаге Поле временной метки можно выбрать поле даты в параметре Поле даты для последних объектов. Выберите поле даты и времени, созданное инструментом Вычислить поле в аналитике в реальном времени. В этом примере имя поля process_timestamp.

Источник векторного слоя использует значение отметки времени для извлечения только последних объектов из векторного слоя при каждом запуске. Если для параметра Поле даты для последних объектов выбрано поле, при первом опросе ArcGIS Velocity векторного слоя он загрузит все объекты с датой и временем меньшими, чем первое запланированное время выполнения, что также соответствует критериям предложения WHERE. С каждым последующим запуском будут загружаться те объекты, значение временной метки которых попадает между последним запланированным временем выполнения и текущим запланированным временем выполнения, и которые также соответствуют критериям условия WHERE.

Настройка поля временной метки для указания поля

Аналитика больших данных настраивается на запуск с желаемой периодичностью, например, каждые 5 минут. При использовании поля временной метки как описано выше, аналитика больших данных будет анализировать только самые последние, еще не обработанные объекты во время последующих запусков.