Al almacenar entidades de salida en una capa de entidades, ArcGIS Velocity administra los datos según un conjunto de políticas de retención de datos. Por lo general, la retención de datos hace referencia al tiempo durante el cual los datos se mantienen activamente en la capa de entidades.
Para obtener más información sobre cómo escribir datos en una nueva capa de entidades en Velocity, consulte Capa de entidades (nueva). Para escribir en una capa de entidades existente, consulte Capa de entidades (existente).
Finalidad de la retención de datos
Al utilizar la retención de datos, las capas de entidades se pueden mantener en un tamaño determinado, incluso si las transmisiones de datos en tiempo real agregan entidades continuamente. Con ello se garantiza que el dataset subyacente no aumente indefinidamente, especialmente a medida que los datos más antiguos se vuelven menos relevantes, para comprender las tendencias y visualizar la actividad más reciente.
La retención de datos no está pensada para limitar las entidades disponibles para intervalos de tiempo específicos. La retención de datos garantiza que los datos se conservan en la capa de entidades durante al menos el periodo especificado. En cualquier momento dado, podría haber datos más antiguos que el periodo especificado, ya que el proceso de eliminación de datos se ejecuta en un programa regular. Para garantizar que los mapas muestren un periodo de tiempo especificado de datos, la práctica recomendada es consultar los datos en consecuencia en las aplicaciones cliente.
Proceso de retención de datos
Cuando se define una capa de entidades de salida en un análisis en tiempo real o de big data, puede especificar el periodo de retención de datos que se aplicará a esa capa de entidades. Por ejemplo, es posible que desee mantener los datos climatológicos del último día, pero mantener una historia de las posiciones de su flota o vehículo durante un máximo de seis meses. También puede exportar datos más antiguos a un archivo de capa de entidades (almacenamiento en frío), al que se puede acceder cuando se necesite ejecutar análisis en los datos históricos.
Cuando se establece un periodo de retención de datos para una capa de entidades, periódicamente, las entidades anteriores al periodo de tiempo especificado se eliminan del dataset subyacente. Si exporta los datos, estas entidades se exportan al archivo de capa de entidades (almacenamiento en frío) antes de que se eliminen. Para la retención de datos, la antigüedad de las entidades se basa en la marca de tiempo de cuándo se crearon los datos en el dataset subyacente, que puede ser o no la misma que la hora de inicio de la entidad. La retención de datos se realiza en función de la hora de creación para aplicar un enfoque coherente en todos los datasets, incluidos aquellos que pueden representar datos de intervalo o no tienen información de fecha u hora en el registro de entidades.
Nota:
Si elige la opción No exportar datos en el parámetro Exportar datos (archivo de capa de entidades), los datos que se eliminan no se pueden recuperar.
La retención de datos solo es necesaria cuando se almacenan datos que ganarán en tamaño a lo largo del tiempo. Se evalúa en función de la configuración del Método de almacenamiento de datos y de cómo conserve los datos entre las ejecuciones de análisis.
Por ejemplo, si elige la opción Agregar nuevas entidades (en lugar de mantener solo la entidad más reciente) y elige la opción Mantener las entidades y el esquema existentes si se reinicia el análisis, los datos entrantes crecerán con el tiempo y se necesitará un periodo de retención de datos.
Sin embargo, si elige la opción Mantener entidad más reciente, solo está almacenando la última observación de cada rastreo. Estos datos pueden crecer a medida que se implementan sensores nuevos en su organización, pero, por lo general, se estabilizan en el tamaño máximo. En este caso, no se requiere ningún periodo de retención de datos y puede elegir la opción Sin purga. Las capas de entidades creadas con la opción Sin purga conservan los datos indefinidamente.
Archivar datos (retención de archivo de capa de entidades)
Cuando se requiere un periodo de retención de datos para una capa de entidades, puede exportar datos más antiguos a un archivo de capa de entidades (almacenamiento en frío). Cuando está habilitada esta opción, los datos anteriores al periodo de retención se exportan en formato de datos de Parquet a un archivo mantenido por Velocity. Los datos del archivo se mantienen durante un máximo de un año después de la fecha en que se exportaron, o hasta el tamaño máximo global del archivo de entidades (lo que sea menor).
Por ejemplo, si elige el periodo de retención de datos de 1 año y elige exportar los datos más antiguos al archivo, Velocity mantiene hasta dos años de datos. Si elige el periodo de retención de datos de 1 mes y elige exportar los datos más antiguos al archivo, Velocity mantiene hasta un mes y un año de datos.
Los datos que se exportan al archivo no se muestran en la capa de entidades. Para trabajar con entidades exportadas al archivo, impórtelas utilizando el tipo de fuente de datos Capa de entidades (archivo) en un análisis de big data o en tiempo real. Puede utilizar la herramienta Fusionar capas para fusionar los datos de la capa de entidades y la capa de entidades (archivo) en una sola secuencia para hacer un análisis adicional.
Además, puede exportar datos más antiguos a sus propios almacenes en la nube, como Amazon S3 o Azure Blob Storage, si necesita conservar los datos indefinidamente.