Когда вы храните выходные объекты в векторном слое, ArcGIS Velocity управляет данными в соответствии с набором политик хранения данных. Хранение данных обычно относится к периоду времени, в течение которого данные активно поддерживаются в векторном слое.
Дополнительные сведения о записи данных в новый векторный слой в Velocity см. в разделе Векторный Слой (Новый). О записи в существующий векторный слой см. в разделе Векторный слой (существующий).
Цель хранения данных
Если использовать хранение данных, векторные слои могут поддерживаться в заданном размере, даже в том случае, когда потоки данных в реальном времени непрерывно добавляют объекты. Это гарантирует, что базовый набор данных не будет расти бесконечно, особенно по мере того, как старые данные становятся менее релевантными для понимания тенденций и просмотра последних событий.
Хранение данных не предназначено для ограничения доступных объектов определенными временными рамками. Хранение данных гарантирует, что данные будут храниться в векторном слое по крайней мере в течение указанного периода. В любой момент времени могут иметься данные старше указанного периода, так как процесс удаления данных выполняется периодически по расписанию. Чтобы гарантировать, что карты отображают определенный период времени для данных, лучше всего запрашивать данные соответствующим образом в клиентских приложениях.
Процесс хранения данных
Когда вы определяете выходной векторный слой в аналитике в реальном времени или больших данных, можете указать период хранения данных, который будет применяться к этому векторному слою. Например, вы можете хранить данные о погоде только за прошедший день, но вести историю автопарка или местоположения транспортных средств в течение шести месяцев. Вы также можете экспортировать более старые данные в архив векторного слоя, к которому можно получить доступ, когда хотите запустить анализ по историческим данным.
Когда для векторного слоя устанавливается период хранения данных, объекты старше указанного периода времени регулярно удаляются из базового набора данных. Если вы экспортируете эти данные, эти объекты экспортируются в архив векторного слоя до их удаления. Для хранения данных возраст объекта определяется на основе временной метки, относящейся к моменту создания данных в базовом наборе данных, которая может совпадать или не совпадать с начальным временем объекта. Хранение данных выполняется на основе времени создания, чтобы применить согласованный подход ко всем наборам данных, включая те, которые могут представлять интервальные данные или не имеют информации о дате или времени в записях объекта.
Примечание:
Если вы выбираете опцию Не экспортировать данные для параметра Экспорт данных (архив векторного слоя), то удаленные данные не могут быть восстановлены.
Хранение данных требуется только тогда, когда вы храните данные, которые увеличиваются в размере с течением времени. Это оценивается на основе настроек Метода хранения данных и того, как вы сохраняете данные между запусками аналитики.
Например, если вы выбираете опцию Добавить новые объекты (а не только сохранять последний объект) и выбираете опцию Сохранить существующие объекты и схему, если аналитика будет перезапущена, то входные данные увеличатся с течением времени. Поэтому следует указать значение для параметра Хранение данных (продолжительность хранения данных).
Однако если вы выберете опцию Сохранять последний объект, то вы сохраните только последнее наблюдение за каждым треком. Объем этих данных может расти по мере установки новых датчиков в вашей организации, но обычно стабилизируется на максимальном размере. При выборе опции Сохранить существующие объекты и схему необходимо указать значение для параметра Хранение данных (продолжительность хранения данных). При выборе опции Заменить существующие объекты и схему параметр Хранение данных (продолжительность хранения данных) не применяется.
Архив данных (хранение архива векторного слоя)
Если для векторного слоя требуется период хранения данных, то можно экспортировать более старые данные в архив векторного слоя. Если эта опция включена, то данные старше периода хранения экспортируются в формат данных Parquet для архивирования, который поддерживается Velocity. Данные в архиве хранятся не более одного года после даты их экспорта или до достижения общего максимального размера архива объектов (в зависимости от того, что меньше).
Например, если вы выберете период 1 год для хранения данных и решите экспортировать старые данные в архив, то Velocity поддерживает данные до двух лет. Если вы выберете период 1 месяц для хранения данных и решите экспортировать старые данные в архив, Velocity поддерживает ваши данные до одного месяца и одного года.
Данные, экспортированные в архив, не отображаются в векторном слое. Для работы с объектами, экспортированными в архив, импортируйте их при помощи типа источника Векторный слой (архив) в аналитику больших данных или в режиме реального времени. В аналитике больших данных можно затем использовать инструмент Слияние слоев, чтобы объединить данные векторного слоя и векторного слоя архива в один конвейер для дополнительного анализа. В аналитике в режиме реального времени источник Векторный слой (архив) может использоваться для отображения объектов, экспортированных в архив, в качестве источника для аналитики в режиме реального времени.
Дополнительно можно экспортировать старые данные в свои собственные облачные хранилища, такие как Amazon S3 или Azure Blob Storage, если вам нужно сохранить данные на неопределенный срок.