Данные изображений обычно обрабатываются для создания форм, которые могут обрабатываться "на лету" или сохраняться в другой обновленной версии. Наборы данных изображений, а также их совокупности, зачастую очень велики, поэтому очень важно правильное управление ими. Для этого предназначен ArcGIS AllSource.
Структуры изображений и растровых данных и модели хранения
Есть три способа хранения изображения и растровых данных: в виде файлов в файловой системе, в базе геоданных или хранение в файлах с управлением из базы геоданных. При выборе способа хранения также следует определить, будут ли храниться все данные в едином наборе растровых данных или в каталоге, в котором можно разместить большое количество растровых наборов данных. Если вы храните данные в файловой системе, вы храните наборы растровых данных. В базе геоданных можно хранить наборы растровых данных и наборы данных мозаики.
Набор растровых данных
Большинство изображений и растровых данных (таких как ортоизображения или ЦМР) хранятся в виде набора растровых данных. Термин "набор растровых данных" обозначает любую модель растровых данных, хранящуюся на диске или доступную как отдельное изображение из облачного хранилища. Набор - это самая базовая модель хранения растровых данных, на которой построены другие – например, наборы данных мозаики основаны на наборах растровых данных. Также, они используются как выходные данные многих инструментов геообработки, работающих с растрами.
Набор растровых данных – любое поддерживаемое изображение или растровый формат, организованный в один или несколько каналов. Каждый канал состоит из массива пикселов, каждый пиксел имеет некое значение. Изображение или набор растровых данных имеет как минимум один канал. ArcGIS AllSource поддерживает более 70 различных форматов файлов для наборов растровых данных, включая TIFF, JPEG 2000, Cloud Raster Format (CRF) и NITF.
Набор данных мозаики
Набор данных мозаики – совокупность наборов растровых данных (изображений), хранящаяся как коллекция изображений и отображаемая как единое мозаичное изображение или отдельные изображения (растры). Эти коллекции могут быть очень большими, как по размеру файлов, так и по количеству наборов данных. Изображения в наборах растровых данных могут оставаться в исходном формате на диске или, при необходимости, загружаться в базу геоданных. Метаданными можно управлять в записи изображения, так же как и атрибутами в таблице атрибутов. Хранение метаданных в качестве атрибутов позволяет использовать такие параметры, как облегченное управление данными сенсора ориентации, а также позволяет выполнять быстрые запросы для выборок.
Данные в наборе данных мозаики не обязательно должны быть смежными или перекрывающимися, но могут существовать как не соединенные, прерывающиеся наборы данных. Например, могут быть изображения, полностью покрывающие площадь, или может быть много полосок изображений, которые могут быть не соединены для формирования непрерывного изображения (например, вдоль трубопроводов).
Данные могут полностью или частично перекрываться, но получены в разное время. Набор данных мозаики – это идеальный набор данных для хранения временных данных. Вы можете как делать к набору данных мозаики запросы изображений на основе времени или даты, так и использовать метод мозаики для отображения мозаичного изображения в соответствии с атрибутом даты или времени.
Наборы данных мозаики не ограничены одним определенным типом данных изображения. Можно добавлять данные изображений от многих систем сенсоров в различных проекциях, в разных разрешениях, с разной глубиной пикселов и разным числом каналов. Для всей коллекции данных можно построить обзорные изображения. Это позволяет быстрее просматривать данные и ускоряет работу с этими наборами данных. Также имеются дополнительные свойства для просмотра, включая задание метода мозаики, которые делают эти наборы данных уникальными и функциональными во многих ситуациях. Кроме того, вы можете выполнять запросы к наборам данных мозаики на основе пространственных и непространственных ограничений. Результатами этого запроса может стать как набор изображений, которые можно обрабатывать по одному, так и динамически созданное мозаичное изображение.
В добавлении к данным изображений, вы можете хранить и управлять данными лидара в наборе данных мозаики, так же как и наборами данных изображений, и даже вместе с наборами данных изображений. Данные лидара можно хранить в файловой системе в виде файлов .las или наборов данных LAS, а также в базе геоданных в виде набора данных terrain.
Примечание:
Наборы данных мозаики зависят от версии ArcGIS, в которой он и были построены, они совместимы между приложениями платформы ArcGIS в рамках одной версии. Обычно наборы данных мозаики, созданные в более ранней версии ArcGIS можно прочитать и использовать с помощью более новых версий ArcGIS. Однако наборы данных мозаики, созданные в более новых версиях ArcGIS не всегда могут быть обратно совместимы с предыдущими версиями. См. таблицу ниже о совместимости наборов данных мозаики:
| Версия ArcGIS | Версия ArcGIS Enterprise, ArcGIS Server и ArcMap | Версия ArcGIS AllSource |
|---|---|---|
Pro 3.3 | 11.3 | AllSource 1.2 |
Pro 3.2 | 11.2 | AllSource 1.1 |
Pro 3.1 | 11.1 | AllSource 1.0 |
Pro 3.0 | 11 | |
Pro 2.9 | 10.9.1 | |
Pro 2.8 | 10.9 | |
Pro 2.7 | 10.9 | |
Pro 2.6 | 10.8.1 | |
Pro 2.5 | 10.8 | |
Pro 2.4 | 10.7.1 | |
Pro 2.3 | 10.7 | |
Pro 2.2 | 10.6.1 | |
Pro 2.1 | 10.6 | |
Pro 2.0 | 10.5.1 | |
Pro 1.4 | 10.5 | |
Pro 1.3 | 10.4.1 | |
Pro 1.2 | 10.4 | |
Pro 1.1 | 10.3.1 | |
Pro 1.0 | 10.3 |
Сравнение модели хранения растровых данных
Хранение наборов данных изображений по отдельности часто является наилучшим способом, если изображения не совпадают в пространстве или редко используются в одном проекте. Соединение вместе входной мозаики для формирования одного большого экстента файлов данных изображений подходит для многих приложений, но набор данных мозаики может оказаться предпочтительнее по следующим причинам:
- Экстенты изображений частично или полностью перекрываются, при этом общие области необходимо сохранить.
- Во временных сериях наборы данных изображений представляют коллекцию наблюдений одной области в разное время.
- Вы желаете отобразить только изучаемую область, а не всю совокупность изображений.
- Вы хотите управлять коллекцией изображений как интегрированным набором, но при этом сохранить индивидуальный статус каждого изображения.
- Вы хотите записывать и управлять дополнительными столбцами атрибутов, в которых будет описываться каждое изображение.
Сравнение моделей хранения растровых данных
| Набор растровых данных | Набор данных мозаики | |
|---|---|---|
Описание | Одно изображение объекта или бесшовное изображение, охватывающее пространственно непрерывную область. Это может быть одно исходное изображение или изображение, полученное путем слияния нескольких более мелких (мозаика).
| Группа наборов данных изображений, хранящаяся как коллекция, что позволяет хранить, управлять, просматривать и делать запросы к коллекциям растровых данных и данных лидара. Он просматривается в виде мозаичного изображения, но у вас есть доступ к каждому набору растровых данных, как к элементу коллекции.
|
Хранение | В виде файла на диске или в базе геоданных. | В базе геоданных, но может содержать ссылку на источник данных, который хранится в файле на диске. |
Гомогенные или гетерогенные данные | Гомогенные данные: один формат, тип данных и файл. | Гетерогенные данные: несколько форматов, типов данных, различные размеры файлов и системы координат. |
Метаданные | Записываются один раз и описывают весь набор данных. | Могут храниться в записи растра и как атрибуты в атрибутивной таблице. |
Наборы данных с пониженным разрешением | Пирамидные слои всего набора данных изображений. | Пирамидные слои для каждого набора данных изображений, так же как и обзорные изображения для всей коллекции. |
Геообработка и анализ изображений | Как источник данных во многих инструментах геообработки и анализа, включая растровые функции и RFT. | Как источник данных во многих инструментах геообработки и анализа, включая растровые функции и RFT. |
Плюсы |
|
|
Минусы |
|
|
Обслуживание | Обслуживается непосредственно как сервис изображений. | Обслуживается непосредственно как сервис изображений. |
Рекомендации | Используйте наборы растровых данных, если вам не нужно сохранять области наложения между изображениями в мозаике, а также для быстрого отображения больших объемов данных изображений. | Используйте набор данных мозаики для управления и визуализации данных изображений и данных лидара. Хорошо подходит для многомерных данных, запросов, хранения метаданных и наложения данных, и обеспечивает гибридное решение. |
Хранение растровых данных в базе геоданных
Хранить растровые данные в базе геоданных удобно, если вы хотите управлять изображениями, добавлять поведение и контролировать схему; если вы хотите управлять хорошо настроенным набором растровых данных как частью вашей СУБД; и если требуется единая архитектура для управления всем содержанием. Существует два основных типа баз геоданных: многопользовательская и файловая.
Многопользовательская база геоданных способна поддерживать множество операций в СУБД. Файловые базы геоданных разработаны для редактирования одним пользователем и не поддерживают версионность. Они находятся в каталоге файловой системы, поэтому для доступа к ним пароль не требуется. Файловые и многопользовательские базы геоданных имеют одну базовую схему хранения.
Примечание:
Функциональное поведение каждой базы геоданных в основном одинаково; однако есть некоторые исключения для определенных инструментов и процедур. Информацию о различиях в поведении инструмента или процедуры см. в справке по конкретному инструменту или процедуре.
Сравнение параметров хранения растров в файловой и многопользовательской базах геоданных
| Характеристики хранения растров | Файловая база геоданных | Многопользовательская база геоданных |
|---|---|---|
Размер | 1 Тб на каждый набор растровых данных |
Без ограничений, кроме ограничений СУБД |
Формат файла набора растровых данных | Набор растровых данных файловой базы геоданных |
Набор растровых данных многопользовательской базы геоданных |
Хранение |
|
|
Хранится в файловой системе |
Хранится в РСУБД | |
Сжатие | LZ77, JPEG, JPEG 2000 или None |
LZ77, JPEG, JPEG 2000 или None |
Пирамидные слои | Поддерживает частичное построение пирамидных слоев |
Поддерживает частичное построение пирамидных слоев |
Мозаика | Позволяет присоединять данные к набору растровых данных при построении мозаики |
Позволяет присоединять данные к набору растровых данных при построении мозаики |
Обновление | Возможно постепенное обновление |
Возможно постепенное обновление |
Количество пользователей | Один пользователь и малые рабочие группы; несколько читателей и один записывающий |
Многопользовательская; много пользователей и много записывающих |
Таблица блоков растра в базе геоданных
Растровые данные, как правило, намного больше по размеру, чем векторные данные и требует наличия вспомогательной таблицы для хранения. Например, типичный панхроматический ортоснимок может содержать 20000 строк в 20000 столбцах (более чем 400 миллионов значений ячеек) или более.
Для оптимизации производительности с такими большими растровыми наборами данных, растр в базе геоданных делится на меньшие листы (понимаемые как блоки) со стандартным размером около 128 x 128 или 256 x 256 строк и столбцов. Эти более маленькие блоки в дальнейшем хранятся во вспомогательных таблицах для каждого растра. Каждый отдельный элемент (мозаики) хранится в отдельной записи в таблице блоков, как показано ниже.
Эта структура означает, что для отображения определенной области растра необходимо извлечение соответствующего блока вместо целого изображения. Кроме того, повторно извлекаемые блоки, используемые, для построения пирамид растра, могут храниться и управляться в той же таблице блоков в качестве дополнительной записи.
Это позволяет управлять в СУБД изображениями огромных размеров и обеспечивать очень высокую производительность. СУБД также обеспечивает безопасный многопользовательский доступ.
Файловая база геоданных
Модель хранения в файловой базе геоданных не отличается от многопользовательской базы геоданных, где данные хранятся по блокам.
Это обеспечивает более эффективный доступ к данным, особенно при работе с мозаикой. В файловой базе геоданных в мозаике обновляются только накладывающиеся блоки. Если накладывающегося блока не существует, вставляется новый блок. Частично заполненные блоки дополняются пикселами NoData. Кроме того, модель хранения файловой базы геоданных (и многопользовательской) использует частичные обновления пирамидных слоев, что позволяет сэкономить время. Структура данных файловой и многопользовательской баз геоданных одинакова, поэтому для обмена данными между ними применяется технология быстрого копирования – copy and paste (копирование и вставка).
Файловая база геоданных также допускает ключевые слова конфигурации, но в отличие от многопользовательской базы геоданных, здесь ключевые слова конфигурации имеют стандартное предопределенное значение. Более подробную информацию о ключевых словах конфигурации см. в разделе Ключевые слова конфигурации для файловых баз геоданных.
Многопользовательская база геоданных
Хранение растровых данных в многопользовательской базе геоданных предполагает корпоративный уровень функциональности, в том числе безопасность, многопользовательский доступ и совместное использование данных. Существует три основных причины для хранения растровых данных в многопользовательской базе геоданных:
- Они не будут регулярно обновляться (примерно каждые 2-3 года или реже).
- Они могут быть доступны только для чтения (например, использование их в качестве данных базовой карты под векторными данными).
- Сотни пользователей (или больше того) будут иметь доступ к ним как к базовой карте.
Благодаря структуре хранения, можно сказать, что растровые данные являются управляемыми или полностью контролируемыми базой геоданных. Многопользовательские базы геоданных хранят всю информацию о растре (пикселы, пространственная привязка, любые связанные таблицы и метаданные) для наборов растровых данных и атрибуты растров внутри ассоциированной реляционной базы данных. Это значит, что все данные входного растра загружаются в базу данных и, можно сказать, проходят конвертацию.
Корпоративная база геоданных делит каналы на блоки пикселов одинакового размера, который задается пользователем (по умолчанию 128 на 128). Разделение каналов на блоки обеспечивает эффективное хранение и чтение растровых данных. Информация о пирамидных слоях хранится в соответствии с разрешением. Высота пирамиды определяется количеством слоев, которое задается пользователем или приложением.
В таблице растровых блоков (самая большая таблица, где находится информация о пикселах и пирамидных слоях) хранится одна строка на блок (лист) на канал в наборе растровых данных и на уровень пирамидного слоя. Например, трехканальное изображение, разделенное на 12 блоков без пирамидных слоев будет содержать 36 строк в таблице BLK – по 12 отдельных блоков для каждого канала. Столбцы, содержащие данные пикселов для блоков, являются большими бинарными объектами (BLOB).
Сжатие, пирамидные слои и размер листа
При сохранении и обработке растровых данных, необходимо также учитывать другие характеристики, к которым относятся сжатие, наборы данных с пониженным разрешением (пирамидные слои и обзорные изображения) и размер листов.
Сжатие
Существуют два типа сжатия: без потерь и с потерями. Сжатие без потерь информации означает, что значения пикселов в наборе растровых данных не меняются, тогда как при сжатии с потерями происходит изменение их значений. Степень сжатия зависит от типа пиксельных данных; более однородные изображения имеют более высокую степень сжатия. Данные, которые будут использоваться для анализа, а не только для отображения, следует хранить со сжатием без потерь. Основное преимущество сжатия данных – уменьшение их объема; количество места, которое вы можете сэкономить, зависит от метода сжатия и самих данных, их избыточности. Дополнительное преимущество – увеличение производительности, т.к. уменьшается объем передаваемых данных. Например, при передаче данных изображений по сети с низкой пропускной способностью, использование сжатия может увеличить быстродействие, поскольку количество передаваемых данных уменьшается, что позволяет хранить большие, бесшовные наборы данных изображений и быстро доставлять их на клиентский компьютер для отображения.
Наборы данных мозаики также используют сжатие. Оно не применяется для хранения наборов данных изображений, оно применяется к изображениям, которые генерируются при отображении данных. Это также помогает при доступе к данным через интернет за счет уменьшения размера передаваемого файла. Более подробно о параметре Допустимый метод сжатия см. в разделе Свойства набора данных мозаики.
Наборы данных с пониженным разрешением для быстрого отображения
Наборы данных с пониженным разрешением являются растрами, полученными из исходных данных, наборов растровых данных или мозаики. Они генерируются для повышения скорости отображения и производительности. Когда они создаются для наборов растровых данных, они называются пирамидными слоями, если они создаются для наборов данных мозаики – обзорными изображениями.
Сравнение пирамидных слоев и обзорных изображений
| Пирамидные слои | Обзорные изображения | |
|---|---|---|
Создаются для | Наборы растровых данных | Наборы данных мозаики |
Формат | Записываются файлы .ovr – с некоторыми исключениями. Считывает пирамидные слои, хранящиеся во вне как файлы .ovr или .rrd, или внутри. | Записываются файлы .tif. |
Хранение | В одном файле, который обычно находится рядом с исходным набором растровых данных, с использованием его же имени. | По умолчанию, в папке рядом с базой геоданных с расширением *.overviews или внутри для многопользовательских баз геоданных. Место хранения можно настраивать. |
Объем хранения | От 2 до 10% (по сравнению с оригинальными наборами растровых данных). | |
Коэффициент снижения разрешения | 2 | По умолчанию 3. Значение можно редактировать. |
Экстент |
|
|
Опции при построении |
|
|
Размер листа
В многопользовательской или файловой базе геоданных растровые данные разделяются на листы, индексируются, сжимаются и для них строятся пирамидные слои. В результате, при каждом запросе к растровым данным, передаются только те листы, которые соответствуют запрашиваемому экстенту и разрешению, а не весь набор растровых данных. Размер листа управляет количеством пикселов, которое вы можете сохранить в блоке памяти базы данных. Он указывается как число пикселей по оси x и y. Значение по умолчанию равно 128 на 128 пикселей, для большинства приложений менять эти значения не требуется. В многопользовательской базе геоданных листы растровых данных сжимаются перед их помещением в базу данных.