Lorsque vous stockez des entités en sortie dans une couche d’entités, ArcGIS Velocity gère les données selon un ensemble de politiques de conservation des données. La conservation des données fait généralement référence à la durée pendant laquelle les données sont activement conservées dans la couche d’entités.
Pour plus d’informations sur l’écriture des données dans une nouvelle couche d’entités dans Velocity, reportez-vous à la rubrique Couche d’entités (nouvelle). Pour écrire dans une couche d’entités existante, reportez-vous à la rubrique Couche d’entités (existante).
Objectif de la conservation des données
La conservation des données permet de conserver les couches d’entités à une taille donnée, même lorsque les flux de données en temps réel ajoutent continuellement de nouvelles entités. Cela permet de s’assurer que le jeu de données sous-jacent ne grossit pas indéfiniment, notamment lorsque les données plus anciennes sont moins pertinentes pour comprendre les tendances et consulter les dernières activités.
La conservation des données n’est pas faite pour limiter les entités disponibles à des périodes spécifiques. La conservation des données permet de s’assurer que les données sont conservées dans la couche d’entités pendant au moins la période spécifiée. À tout moment, des données peuvent être plus anciennes que la période spécifiée, dans la mesure où le processus de suppression des données s’exécute de manière périodique. Pour vous assurer que vos cartes affichent les données de la période spécifiée, nous vous recommandons d’interroger les données en conséquence dans les applications client.
Processus de conservation des données
Lorsque vous définissez une couche d’entités en sortie dans une analyse en temps réel ou dans une analyse de Big Data, vous pouvez spécifier la période de conservation des données à appliquer à cette couche d’entités. Par exemple, il se peut que vous vouliez conserver les données météorologiques du jour précédent, et conserver un historique des positions de vos véhicules ou de votre flotte pendant 6 mois. Vous pouvez également exporter les données plus anciennes vers une archive de couche d’entités (stockage froid), à laquelle vous pouvez accéder pour exécuter une analyse sur les données historiques.
Lorsque vous définissez une période de conservation des données pour une couche d’entités, les entités plus anciennes que cette période spécifiée sont régulièrement supprimées du jeu de données sous-jacent. Si vous exportez les données, ces entités sont exportées vers l’archive de couche d’entités (stockage froid) avant d’être supprimées. Pour la conservation des données, l’âge des entités se base sur l’horodatage indiquant l’heure de création des données dans le jeu de données sous-jacent, qui peut ou non être la même que l’heure de début de l’entité. La conservation des données s’effectue en fonction de l’heure de création, afin d’adopter une approche cohérente sur tous les jeux de données, y compris ceux qui peuvent représenter les données d’intervalle ou pour lesquels l’enregistrement d’entité n’a pas de date ou d’heure.
Remarque :
Si vous sélectionnez l’option Do not export data (Ne pas exporter les données) pour le paramètre Data export (feature layer archive) [Exportation de données (archive de couche d’entités)], les données qui sont supprimées ne peuvent pas être récupérées.
La conservation des données est uniquement requise lorsque vous stockez des données dont le volume augmente au fil du temps. Cette évaluation est réalisée sur la base des paramètres Data Storage Method (Méthode de stockage de données) et sur la manière dont vous conserver les données entre les exécutions d’analyses.
Par exemple, si vous choisissez l’option Add New Features (Ajouter de nouvelles entités) (plutôt que de conserver uniquement la dernière entité) et l’option Keep existing features and schema (Conserver les entités et la structure existantes) lorsque l’analyse redémarre, le volume de vos données entrantes augmente avec le temps et une période de conservation des données est requise.
À l’inverse, si vous choisissez l’option Keep Latest Feature (Conserver la dernière entité), vous stockez uniquement la dernière observation de chaque trace. Le volume de ces données peut croître lorsque de nouveaux capteurs sont déployés dans votre organisation, mais il se stabilise généralement à une taille maximum. Dans ce cas, il n’est pas nécessaire de spécifier une période de conservation et vous pouvez sélectionner l’option No Purge (Pas de purge). Les couches d’entités créées avec l’option No Purge (Pas de purge) conserveront les données indéfiniment.
Archivage des données (conservation de l’archive de couche d’entités)
Lorsqu’une période de conservation des données est requise pour une couche d’entités, vous pouvez exporter les données plus anciennes vers une archive de couche d’entités (stockage froid). Lorsque cette option est activée, les données plus anciennes que la période de conservation sont exportées au format de données Parquet vers une archive gérée par Velocity. Les données de l’archive sont conservées pour une durée maximale d’un an après leur exportation, ou jusqu’à ce que la taille globale maximale de l’archive d’entités soit atteinte (la valeur la plus faible étant retenue).
Par exemple, si vous sélectionnez une période de conservation des données de 1 Year (1 an), et choisissez d’exporter les données plus anciennes vers l’archive, Velocity conservera dans les faits vos données pendant deux ans. Si vous sélectionnez comme période de conservation des données 1 Month (1 mois), et choisissez d’exporter les données plus anciennes vers l’archive, Velocity conservera dans les faits vos données pendant un mois et un an.
Les données exportées dans l’archive ne s’affichent pas sur la couche d’entités. Pour utiliser des entités exportées dans l’archive, importez-les à l’aide du type de source de données Feature Layer (archive) (Couche d’entités (archive)) dans une analyse en temps réel ou de Big Data. L’outil Merge Layers (Combiner les couches) vous permet alors de combiner les données de la couche d’entités et la couche d’entités (archive) dans un même pipeline en vue d’une analyse supplémentaire.
Vous pouvez également exporter des données plus anciennes vers vos propres répertoires cloud (par exemple Amazon S3 ou le stockage d’objets Blob Azure) si vous voulez conserver vos données indéfiniment.
Vous avez un commentaire à formuler concernant cette rubrique ?