Анализ в реальном времени—ArcGIS Velocity

Аналитика в реальном времени выполняет обработку данных, поступающих через канал, анализируя каждое сообщение по мере его получения. Аналитика в реальном времени специально предназначена для преобразования данных, геозон и обнаружения инцидентов. Аналитика завершается созданием одного или нескольких наборов выходных данных; данные могут, в частности, храниться в векторном слое или может быть отправлено оповещение по электронной почте.

Примеры анализа в реальном времени

В качестве менеджера по чрезвычайным ситуациям вы можете в режиме реального времени отслеживать и архивировать текущие местоположения ваших полевых бригад, отправлять оповещения, если экипаж находится в запретной зоне, и вычислять расстояние от местоположения полевых бригад до назначенной им операционной базы.
Как аналитик цепочки поставок нефтегазовой компании, вы можете подключиться к потоку данных автоматической системы идентификации (AIS), чтобы отслеживать ваши суда, вычислять информацию об их ожидаемом прибытии и понимать, когда суда находятся внутри, а когда - вне интересующих вас областей.
Как ученый-эколог, управляющий большим количеством датчиков, вы можете архивировать свои наблюдения для их последующей обработки в аналитике больших данных.

Компоненты аналитики в реальном времени

Есть четыре компонента аналитики в реальном времени:

Каналы:
- Канал - это поток данных в реальном времени, поступающий в ArcGIS Velocity. Каналы обычно подключаются к внешним источникам данных наблюдений, таким как платформы Интернета вещей (IoT), агенты сообщений или сторонние API. Каналы разбирают входящие данные в виде таблиц, точек, полилиний или полигонов и предоставляют их для дальнейшего анализа и визуализации.
Источники:
- Источник данных используется для загрузки статических данных или данных, близких к данным в реальном времени, в аналитике больших данных. В аналитике в реальном времени источники данных загружают данные, используемые вместе с инструментами, которым требуется вспомогательный набор пространственных или табличных данных для обогащения, фильтрации, объединения данных или вычисления расстояния от событий.
- Источники данных аналитики в реальном времени используются только в качестве вторичного набора данных в таких инструментах, как Присоединить объекты, Фильтр по геометрии, Вычислить расстояние и т.д.
Инструменты:
- Инструменты обрабатывают и анализируют события, которые берутся из каналов. Не включает несколько инструментов или ни одного в аналитику в реальном времени в зависимости от варианта использования.
- Одни инструменты могут быть связаны с другими, причем выходные данные одного инструмента становятся входными для другого.
- Не все инструменты, доступные в аналитике больших данных, доступны для аналитики в реальном времени. Это связано с тем, что некоторые инструменты, в частности, анализ Поиска горячих точек, анализируют весь набор данных сразу. Аналитика в реальном времени, напротив, работает отдельно с каждым входящим событием, по мере его получения.
Выходы:
- Выходные данные определяют, что должно быть сделано с каждым событием при выполнении его обработки аналитикой в реальном времени.
- Доступно множество вариантов выходных данных, включая сохранение объектов в новом или существующем векторном слое, отправку по электронной почте, отправку сообщений в Kafka или RabbitMQ и др. Дополнительные сведения см. в разделе Основы выходных данных аналитики.
- События, получаемые из инструмента или канала, могут быть отправлены в несколько выходных данных.

Сравнение обработки без сохранения состояния и с отслеживанием состояния

Большинство инструментов аналитики в реальном времени функционируют без сохранения состояния, что означает, что они работают с каждым полученным наблюдением и не хранят в памяти записи каких-либо предыдущих наблюдений. Однако некоторые из доступных инструментов работают с отслеживанием состояния, а не с отдельными наблюдениями.

Инструменты с отслеживанием состояния собирают несколько последовательных наблюдений для каждого трека, чтобы сравнить пространственные и/или атрибутные условия на каждом треке и обнаружить изменения. Когда наблюдение получено для каждого трека, оно добавляется в небольшой кеш наблюдений для этого трека. Это используется, например, для определения того, вошел ли трек в геозону или вышел из нее, путем сравнения самого последнего наблюдения с предыдущим.

Доступные инструменты с отслеживанием состояния:

Инструменты с отслеживанием состояния не могут поддерживать неопределенное количество наблюдений в памяти, поэтому, чтобы избежать чрезмерного потребления ресурсов памяти, кэш для каждой дорожки периодически очищается от наблюдений, которые старше указанного возраста.

Некоторые инструменты с отслеживанием состояния позволяют указать продолжительность очистки с помощью параметра Целевое временное окно. Когда происходит очистка, наблюдения старше значения, указанного в параметре Целевое временное окно, удаляются из памяти. Обратите внимание, что очистка влияет только на те наблюдения в памяти, которые были сохранены для обработки с отслеживанием состояния. Очистка не влияет на наблюдения, отправленные в выходные данные, и не удаляет данные.

Параметр Целевое временное окно должен быть установлен на значение, равное или превышающее самый длительный ожидаемый период времени между наблюдениями для любого отдельного трека. Например, если транспортные средства сообщают о своем местонахождении каждые 5 минут, и вы используете инструмент Фильтр по геометрии, чтобы определять, когда каждое транспортное средство въезжает в определенную область, вы должны установить значение Целевое временное окно в фильтре чуть более 5 минут, чтобы обеспечить получение нескольких наблюдений перед очисткой. Установка менее 5 минут приведет к тому, что кеш будет содержать только одно наблюдение на трек, что исключает возможность определения того, что пространственное отношение транспортного средства к геозоне изменилось с наружнего на внутреннее. Инструменты Вычислить статистику передвижения, Выявление инцидентов, Фильтр по геометрии и Присоединить объекты имеют параметр Целевое временное окно.

Геозоны

Геозоны - это квинтэссенция пространственного анализа в реальном времени, в котором объекты (часто точки отслеживания) сравниваются с интересующими областями (часто с полигональными областями). Чаще всего анализируются точечные наблюдения, чтобы определить, вошли ли они в виртуальный периметр или вышли из него.

В нескольких инструментах анализа больших данных и данных в реальном времени можно выполнять геозонирование для определения пространственных отношений, которые могут возникать между объектами в целевом канале или источнике данных и набором пространственных объединяемых объектов или геозон. Объекты, используемые в качестве геозон, должны быть подключены к порту присоединения инструмента геозон. Геозоны могут быть точками, линиями или полигонами. Доступные пространственные отношения будут зависеть от типа геометрии входной цели и данных соединения.

Инструменты анализа больших данных и данных в реальном времени, поддерживающие геозонирование, включают следующее:

Дополнительные сведения и примеры использования см. в Анализ геозон.

Динамические геозоны

В нескольких аналитических инструментах в реальном времени может выполняться динамическое геозонирование для определения пространственных отношений между объектами в целевом канале и набором объектов в другом присоединенном канале (геозоны), оба из которых обновляются в реальном времени или почти в реальном времени. Инструмент, выполняющий геозонирование, использует самые последние наблюдения любого заданного идентификатора трека в качестве геозон.

Если канал подключен к порту соединения, объекты соединения (геозоны) постоянно обновляются в зависимости от входящих объектов в канал соединения. В этом случае геозонирование будет выполняться динамически на основе изменяющихся объектов как в целевом, так и в присоединенном канале.
При динамическом геозонировании требуется параметр Временное окно присоединения.
- Если в присоединенном канале нет поля с тегами END_TIME, а последнее известное наблюдение для объекта соединения старше указанного временного окна присоединения, наблюдения будут удалены из памяти инструмента и не будут включены в анализ.
- Если в канале присоединения есть поле с тегами END_TIME, объект будет удален из хранилища геозоны в соответствии со значением в поле, отмеченном как END_TIME или по окончании временного окна присоединения, в зависимости от того, что наступит раньше.

Инструменты аналитики в реальном времени, поддерживающие динамические геозоны:

Примечание:

Максимальный размер геозон, который поддерживается в аналитике реального времени, не может превышать 768 МБ.

Дополнительные сведения и примеры использования см. в Анализ геозон.

Отзыв по этому разделу?