数据保留简介

在要素图层中存储输出要素时,ArcGIS Velocity 会根据一组数据保留策略管理数据。 数据保留通常是指在要素图层中主动保留数据的时间长度。

有关在 Velocity 中将数据写入新要素图层的详细信息,请参阅要素图层(新)。 有关写入现有要素图层的信息,请参阅要素图层(现有)

数据保留的目的

借助数据保留,可以指定大小保留要素图层,即使实时数据流不断添加新要素也是如此。 由此确保基础数据集不会无限增长,尤其是当较旧数据对于了解趋势和查看最新活动的相关性降低时更是如此。

数据保留不适用于限制特定时间范围内可用的要素。 数据保留可确保至少将指定时间段的数据保留在要素图层中。 由于定期执行数据移除过程,因此在任何给定时间均可能存在早于指定时间段的数据。 要确保地图显示指定时间段的数据,最佳做法是在客户端应用程序中相应地查询数据。

数据保留过程

在实时或大数据分析中定义输出要素图层时,可以指定要应用于该要素图层的数据保留期。 例如,您可能希望保留过去一天的天气数据,但是保留最多 6 个月的车队或车辆位置历史记录。 您还可以将旧数据导出到要素图层存档(冷存储)中,当您需要对历史数据运行分析时,可以对其进行访问。

输出要素图层的数据保留选项

定期为要素图层设置数据保留期时,将从基础数据集中移除早于指定时间段的要素。 如果导出数据,则在移除这些要素之前,需要将其导出到要素图层存档(冷存储)中。 对于数据保留,要素期限基于在基础数据集中创建数据时的时间戳,该时间戳可能与要素的开始时间相同,也可能不同。 将基于创建时间执行数据保留,以对所有数据集应用一致的方法,其中包括可以表示间隔数据或者要素记录中未包含日期或时间信息的数据集。

注:

如果针对数据导出(要素图层存档)参数选择不导出数据选项,则无法恢复移除的数据。

仅当存储大小将随时间累积的数据时,才需要保留数据。 可根据数据存储方法设置以及在分析运行期间保留数据的方式对此进行评估。

输出要素图层的数据存储选项

例如,如果您选择添加新要素选项(而非仅保留最新要素),并且在重新启动分析时,选择保留现有要素和方案选项,则传入数据将随着时间的推移而增长,并且需要数据保留期。

但是,如果您选择保留最新要素选项,则仅存储每个轨迹的最新观测值。 该数据可能会随着组织中新传感器的部署而增长,但通常会稳定在最大大小。 在这种情况下,将不需要数据保留期,您可以选择不清除选项。 使用不清除选项创建的要素图层将无限期保留数据。

“保留最新要素”的数据存储和保留选项

存档数据(要素图层存档保留)

如果要素图层需要数据保留期,则可以将旧数据导出到要素图层存档(冷存储)中。 启用此选项后,早于保留期的数据将以 Parquet 数据格式导出到 Velocity 保留的存档中。 存档中的数据自导出之日起最多保留一年,或最多保留至要素存档的整体最大大小(以较小者为准)。

例如,如果您选择 1 年数据保留期,并选择将旧数据导出到存档中,则 Velocity 将最多保留两年的数据。 如果您选择 1 个月数据保留期,并选择将旧数据导出到存档中,则 Velocity 将最多保留 1 个月和 1 年的数据。

输出要素图层的数据保留导出选项

导出到存档中的数据不会显示在要素图层中。 要使用已导出到存档中的要素,可以使用实时或大数据分析中的要素图层(存档)源类型将其导入。 在大数据分析中,您可以使用合并图层工具将要素图层和要素图层(存档)中的数据合并到单个管道中以进行其他分析。 在实时分析中,可使用要素图层(存档)源将导出到存档的要素导入为实时分析的源。

此外,如果您需要无限期保留数据,则可以将旧数据导出到您自己的云存储(例如 Amazon S3Azure Blob 存储)中。