Когда вы храните выходные объекты в векторном слое, ArcGIS Velocity управляет данными в соответствии с набором политик хранения данных. Хранение данных обычно относится к периоду времени, в течение которого данные активно поддерживаются в векторном слое.
Дополнительные сведения о записи данных в новый векторный слой в Velocity см. в разделе Векторный Слой (Новый). О записи в существующий векторный слой см. в разделе Векторный слой (существующий).
Цель хранения данных
Применяя стратегии хранения данных, векторные слои могут поддерживаться в заданном размере, даже в том случае, когда потоки данных в реальном времени непрерывно добавляют объекты. Это гарантирует, что базовый набор данных не будет расти бесконечно, особенно по мере того, как старые данные становятся менее релевантными для понимания тенденций и просмотра последних событий.
Хранение данных не предназначено для ограничения доступных объектов определенными временными рамками. Хранение данных гарантирует, что данные будут храниться в векторном слое по крайней мере в течение указанного периода. В любой момент времени могут иметься данные старше указанного периода, так как процесс удаления данных выполняется периодически по расписанию. Чтобы гарантировать, что карта отображает данные за указанный период времени, лучше всего запрашивать данные соответствующим образом в клиентских приложениях.
Процесс хранения данных
Аналитика больших данных или в режиме реального времени может записывать данные в выходной слой пространственных объектов, который можно настроить с сохранением данных. Чтобы создать выходной слой пространственных объектов, создайте или откройте существующую аналитику в режиме реального времени или больших данных. Щелкните Выходные данные и выберите Векторный слой (новый). В окне конфигурации слоя пространственных объектов параметр Хранение данных (период времени хранения данных) позволяет задать параметры хранения данных при добавлении выходных данных слоя пространственных объектов.
Хранение данных требуется только тогда, когда вы храните данные, которые увеличиваются в размере с течением времени. Это оценивается на основе настроек Метода хранения данных и того, как вы сохраняете данные между запусками аналитики.
Например, если вы выбираете опцию Добавить новые объекты (а не только сохранять последний объект) и выбираете опцию Сохранить существующие объекты и схему, если аналитика будет перезапущена, то входные данные увеличатся с течением времени. Поэтому следует указать значение для параметра Хранение данных (продолжительность хранения данных).
Однако если вы выберете опцию Сохранять последний объект, то вы сохраните только последнее наблюдение за каждым треком. Объем этих данных может расти по мере установки новых датчиков в вашей организации, но обычно стабилизируется на максимальном размере. При выборе опции Сохранить существующие объекты и схему необходимо указать значение для параметра Хранение данных (продолжительность хранения данных). При выборе опции Заменить существующие объекты и схему параметр Хранение данных (продолжительность хранения данных) не применяется.
При определении выходного векторного слоя в аналитике в режиме реального времени или больших данных, можно указать период хранения данных, который будет применяться к этому векторному слою. Например, вы можете хранить данные о погоде только за прошедший день, но вести историю автопарка или местоположения транспортных средств в течение шести месяцев. Вы также можете экспортировать более старые данные в архив векторного слоя, к которому можно получить доступ, когда хотите запустить анализ по историческим данным.
Когда для векторного слоя устанавливается период хранения данных, объекты старше указанного периода времени регулярно удаляются из базового набора данных. При экспорте этих данных, эти объекты экспортируются в архив векторного слоя до их удаления. Для хранения данных возраст объекта определяется на основе временной метки, относящейся к моменту создания данных в базовом наборе данных, которая может совпадать или не совпадать с начальным временем объекта. Хранение данных выполняется на основе времени создания, чтобы применить согласованный подход ко всем наборам данных, включая те, которые могут представлять интервальные данные или не имеют информации о дате или времени в записях объекта.
Примечание:
Если выбрана опция Не экспортировать данные в параметре Экспорт данных (архив векторного слоя) , любые удаленные данные не могут быть восстановлены.
Архив данных (хранение архива векторного слоя)
Если для векторного слоя требуется период хранения данных, то можно экспортировать более старые данные в архив векторного слоя. Если эта опция включена, то данные старше периода хранения экспортируются в формат данных Parquet для архивирования, который поддерживается Velocity. Данные в архиве хранятся не более одного года с момента их экспорта.
Например, если вы выберете период 1 год для хранения данных и решите экспортировать старые данные в архив, то Velocity поддерживает данные до двух лет. Если вы выберете период 1 месяц для хранения данных и решите экспортировать старые данные в архив, Velocity поддерживает ваши данные до одного месяца и одного года.
Данные, экспортированные в архив, не отображаются в векторном слое. Для работы с объектами, экспортированными в архив, импортируйте их при помощи типа источника Векторный слой (архив) в аналитику больших данных или в режиме реального времени. В аналитике больших данных можно затем использовать инструмент Слияние слоев, чтобы объединить данные векторного слоя и векторного слоя архива в один конвейер для дополнительного анализа. В аналитике в режиме реального времени источник Векторный слой (архив) может использоваться для отображения объектов, экспортированных в архив, в качестве источника для аналитики в режиме реального времени.
Дополнительно можно экспортировать старые данные в свои собственные облачные хранилища, такие как Amazon S3 или Azure Blob Storage, если вам нужно сохранить данные на неопределенный срок.