Когда вы храните выходные объекты в векторном слое, ArcGIS Velocity управляет данными в соответствии с набором политик хранения данных. Хранение данных обычно относится к периоду времени, в течение которого данные активно поддерживаются в векторном слое.
Дополнительные сведения о записи данных в новый векторный слой в Velocity см. в разделе Векторный Слой (Новый). Для записи в существующий векторный слой см. Векторный слой (существующий).
Цель хранения данных
Если использовать хранение данных, векторные слои могут поддерживаться в заданном размере, даже в том случае, когда потоки данных в реальном времени непрерывно добавляют объекты. Это гарантирует, что базовый набор данных не будет расти бесконечно, особенно по мере того, как старые данные становятся менее релевантными для понимания тенденций и просмотра последних событий.
Хранение данных не предназначено для ограничения доступных объектов определенными временными рамками. Хранение данных гарантирует, что данные будут храниться в векторном слое по крайней мере в течение указанного периода. В любой момент времени могут быть данные старше указанного периода, так как процесс удаления данных выполняется периодически по расписанию. Чтобы гарантировать, что карты отображают определенный период времени для данных, лучше всего запрашивать данные соответствующим образом в клиентских приложениях.
Процесс хранения данных
Когда вы определяете выходной векторный слой в аналитике реального времени или больших данных, вы можете указать период хранения данных, который будет применяться к этому векторному слою. Например, вы можете хранить данные о погоде только за прошедший день, но вести историю автопарка или местоположения транспортных средств в течение шести месяцев. Вы также можете экспортировать более старые данные в архив векторного слоя (холодное хранилище), к которому можно получить доступ, когда вам нужно запустить анализ по историческим данным.
Когда для векторного слоя устанавливается период хранения данных, объекты старше указанного периода времени регулярно удаляются из базового набора данных. Если вы экспортируете эти данные, эти объекты экспортируются в архив векторного слоя (холодное хранилище) до их удаления. Для хранения данных возраст объекта определяется на основе временной метки, относящейся к моменту создания данных в базовом наборе данных, которая может совпадать или не совпадать с начальным временем объекта. Хранение данных выполняется на основе времени создания, чтобы применить согласованный подход ко всем наборам данных, включая те, которые могут представлять интервальные данные или не имеют информации о дате или времени в записях объекта.
Примечание:
Если вы выбираете опцию Не экспортировать данные для параметра Экспорт данных (архив векторного слоя), то удаленные данные не смогут быть восстановлены.
Хранение данных требуется только тогда, когда вы храните данные, которые будут увеличиваться в размере с течением времени. Это оценивается на основе настроек Метода хранения данных и того, как вы сохраняете данные между запусками аналитики.
Например, если вы выбираете опцию Добавить новые объекты (а не только сохранять последний объект) и выбираете опцию Сохранить существующие объекты и схему, если аналитика будет перезапущена, то входные данные будут увеличиваться с течением времени, и потребуется задать период хранения данных.
Однако если вы выберете опцию Сохранять последний объект, то вы сохраните только последнее наблюдение за каждым треком. Объем этих данных может расти по мере установки новых датчиков в вашей организации, но обычно стабилизируется на максимальном размере. В этом случае период хранения данных не требуется, и вы можете выбрать опцию Без очистки. Векторные слои, созданные с параметром Без очистки, сохраняют данные бесконечно долго.
Архив данных (хранение архива векторного слоя)
Если векторному слою требуется период хранения данных, то можно экспортировать более старые данные в архив векторного слоя (холодное хранилище). Если эта опция включена, то данные старше периода хранения экспортируются в формат данных Parquet для архивирования, который поддерживается Velocity. Данные в архиве хранятся не более одного года после даты их экспорта или до достижения общего максимального размера архива объектов (в зависимости от того, что меньше).
Например, если вы выберете период 1 год для хранения данных и решите экспортировать старые данные в архив, то Velocity поддерживает данные до двух лет. Если вы выберете период 1 месяц для хранения данных и решите экспортировать старые данные в архив, Velocity поддерживает ваши данные до одного месяца и одного года.
Данные, экспортированные в архив, не отображаются в векторном слое. Для работы с объектами, экспортированными в архив, импортируйте их при помощи типа источника данных Векторный слой (архив) в аналитику больших данных. Затем вы можете использовать инструмент Слияние слоев, чтобы объединить данные векторного слоя и векторного слоя (архива) в один конвейер для дополнительного анализа.
Дополнительно вы также можете экспортировать старые данные в свои собственные облачные хранилища, такие как Amazon S3 или Azure Blob Storage, если вам нужно сохранить данные на неопределенный срок.