Analyse en temps réel—ArcGIS Velocity

L’analyse en temps réel exécute un traitement sur les données ingérées via un flux, en analysant chaque message dès sa réception Les analyses temps réel sont généralement utilisées pour la transformation de données, les barrières géographiques et la détection d’incidents. Les analyses génèrent une ou plusieurs sorties, par exemple le stockage des données dans une couche d’entités ou l’envoi d’une alerte par e-mail.

Exemples d’analyse temps réel

En tant que gestionnaire des opérations d’urgence, vous suivez en temps réel la position actuelle de vos équipes de terrain et l’archivez, vous envoyez des alertes si un membre de l’équipe se trouve dans une zone restreinte et vous calculez la distance entre les membres de l’équipe de terrain et la base d’opérations à laquelle ils sont affectés.
En tant qu’analyste de la chaîne d’approvisionnement dans une société pétrolière et gazière, vous vous connectez à un flux de données AIS (Automatic Identification System, système d’identification automatique) afin de surveiller vos navires, de calculer les informations d’arrivée attendues et de savoir si les navires se trouvent à l’intérieur ou à l’extérieur des zones d’intérêt.
En tant que scientifique de l’environnement qui gère un grand nombre de capteurs, vous archivez des observations pour les traiter ultérieurement dans une analyse de Big Data.

Composants d’une analyse temps réel

Une analyse temps réel est constituée de quatre composants :

Flux :
- Un flux est constitué de données en continu en temps réel qui entrent dans ArcGIS Velocity. Généralement, les flux se connectent à des sources externes de données d’observation, telles que des plateformes de l’Internet des objets (IoT), des agents de messages ou des API tierces. Les flux analysent les données tabulaires, ponctuelles, polylignes ou surfaciques entrantes et les exposent pour analyse et visualisation.
Sources:
- La source de données permet de charger des données statiques ou proches temps réel dans une analyse Big Data. Dans les analyses temps réel, les sources de données chargent les données utilisées conjointement avec des outils qui nécessitent un jeu de données spatial ou tabulaire auxiliaire pour enrichir, filtrer, joindre ou calculer la distance à partir des événements.
- Les sources de données dans une analyse en temps réel sont uniquement utilisées en tant que jeu de données secondaire dans les outils concernés, par exemple Joindre les entités, Filtrer par géométrie, Calculer la distance, etc.
Outils :
- Les outils traitent ou analysent les événements entrants issus des flux. Incluez éventuellement un ou plusieurs outils dans une analyse en temps réel, en fonction du cas d’utilisation.
- Les outils peuvent être connectés les uns aux autres lorsque la sortie d’un outil représente l’entrée d’un autre outil.
- Tous les outils disponibles dans les analyses de Big Data ne sont pas forcément disponibles dans les analyses temps réel. En effet, certains outils comme Rechercher les points chauds analysent un jeu de données complet en une fois. À l’inverse, les analyses en temps réel traitent chaque événement entrant lors de sa réception.
Sorties :
- La sortie définit comment l’analyse en temps réel traite chaque événement.
- De nombreuses options en sortie sont disponibles, notamment le stockage des entités dans une couche d’entités (nouvelle ou existante), l’envoi d’un e-mail, l’envoi de messages à Kafka ou RabbitMQ, etc. Pour plus d’informations, reportez-vous à la rubrique Principes fondamentaux des sorties analytiques.
- Les événements reçus d’un outil ou d’un flux peuvent être envoyés à plusieurs sorties.

Traitement avec état ou sans état

Dans l’analyse en temps réel, la plupart des outils fonctionnent en mode sans état, ce qui signifie qu’ils traitent chaque observation reçue et ne conservent pas les enregistrements en mémoire des observations précédentes. Toutefois, plusieurs outils disponibles fonctionnent en mode avec état, c’est-à-dire qu’ils traitent des pistes plutôt que des observations individuelles.

Les outils avec état rassemblent plusieurs observations consécutives par piste afin de comparer les conditions spatiales et/ou attributaires dans chaque piste et de détecter d’éventuelles modifications. Lorsqu’une observation est reçue pour chaque piste, elle est ajoutée à un petit cache d’observation pour cette piste. Cette fonction est par exemple utilisée pour détecter si la piste est entrée dans une geofence ou en est sortie, en comparant l’observation la plus récente à la précédente.

Les outils avec état disponibles sont les suivants :

Les outils avec état ne pouvant pas conserver un nombre illimité d’observations en mémoire, le cache de chaque piste est régulièrement purgé des observations antérieures à une certaine date, afin d’éviter une surconsommation des ressources de la mémoire.

Certains outils avec état vous permettent d’indiquer une durée de purge à l’aide du paramètre Target Time Window (Fenêtre horaire cible). Lorsque la purge a lieu, les observations antérieures à la valeur spécifiée dans le paramètre Target Time Window (Fenêtre horaire cible) sont purgées de la mémoire. Notez que la purge affecte uniquement les observations en mémoire qui ont été conservées à des fins de traitement avec état. Elle n’affecte pas les observations envoyées aux sorties, et ne supprime pas les données.

Le paramètre Target Time Window (Fenêtre horaire cible) doit être défini sur une valeur égale ou supérieure à la période anticipée la plus longue entre les observations d’une seule piste. Par exemple, si des véhicules signalent leur emplacement toutes les 5 minutes et que vous utilisez l’outil Filtrer par géométrie pour détecter l’entrée de chaque véhicule dans une zone donnée, définissez le paramètre Target Time Window (Fenêtre horaire cible)du filtre sur une valeur légèrement supérieure à 5 minutes pour vous assurer que plusieurs observations soient reçues avant leur purge. La définition d’une valeur inférieure à 5 minutes a pour résultat la génération d’un cache contenant une seule observation par piste, supprimant ainsi la possibilité de déterminer que la relation spatiale externe d’un véhicule vers la geofence est devenue interne. Les outils Calculer les statistiques de déplacement, Détecter les incidents, Filtrer par géométrie et Joindre les entités comportent tous le paramètre Target Time Window (Fenêtre horaire cible).

Geofencing

Le geofencing est la quintessence de l’analyse spatiale en temps réel, où les entités (souvent, des points de suivi) sont évaluées en fonction de zones d’intérêt (souvent, des zones surfaciques). Plus généralement, les observations reposant sur des points sont analysées afin de déterminer l’entrée dans un périmètre virtuel ou la sortie d’un périmètre virtuel.

Vous pouvez effectuer un geofencing dans plusieurs outils d’analyse en temps réel et Big Data pour identifier certaines relations spatiales pouvant exister entre les entités d’un flux cible ou d’une source de données et un ensemble d’entités de jointure spatiale, ou geofences. Les entités utilisées comme geofences doivent être connectées au port de jointure de l’outil de geofencing. Les geofences peuvent être des points, des lignes ou des polygones. Les relations spatiales disponibles dépendent du type de géométrie des données en entrée cible ou des données de jointure.

Les outils d’analyse en temps réel et Big Data qui prennent en charge le geofencing sont les suivants :

Pour plus de détails et des exemples de cas d’utilisation, reportez-vous à la rubrique Analyse du geofencing.

Geofencing dynamique

Vous pouvez exécuter le geofencing dynamique dans plusieurs outils d’analyse en temps réel pour identifier les relations spatiales entre les entités d’un flux cible et un ensemble d’entités d’un autre flux de jointure (les geofences), où les deux flux sont mis à jour en temps réel ou quasi en temps réel. L’outil à l’aide duquel le geofencing est appliqué utilise l’observation la plus récente de n’importe quel ID de suivi donné comme geofences.

Si un flux est connecté au port de jointure, les entités de jointure (les geofences) sont actualisées en continu en fonction des entités entrantes dans le flux de jointure. Dans ce cas, le geofencing est effectué dynamiquement en fonction de l’évolution des entités dans les flux cible et de jointure.
Avec le geofencing dynamique, le paramètre Join Time Window (Fenêtre horaire de jointure) est obligatoire.
- Si le flux de jointure ne comporte pas de champ balisé END_TIME et que la dernière observation connue pour une entité de jointure est antérieure à la fenêtre horaire de jointure, elle est purgée de la mémoire de l’outil et n’est pas incluse dans l’analyse.
- Si le flux de jointure comporte un champ balisé END_TIME, l’entité obsolète est exclue du magasin de geofences en fonction de la valeur figurant dans le champ balisé comme END_TIME ou à la fermeture de la fenêtre horaire de jointure, selon l’événement qui se produit en premier.

Les outils d’analyse en temps réel qui prennent en charge le geofencing dynamique sont les suivants :

Remarque :

La taille maximale des barrières géographiques prises en charge dans les analyses en temps réel ne peut dépasser 768 M0.