В этом документе объясняется, как использовать предварительно обученную модель Text SAM, доступную в ArcGIS Living Atlas of the World. Модель используется для обнаружения объектов на изображении с помощью подсказки.
Text SAM - это образец модели с открытым исходным кодом, который можно использовать с помощью текстовых подсказок в произвольной форме для извлечения объектов различных типов. Это достигается за счет использования Grounding DINO и Segment Anything Model (SAM). Grounding DINO - это детектор объектов открытого типа, который может находить объекты по текстовой подсказке. Segment Anything Model можно использовать для сегментации любого объекта в области интереса, представленной ограничивающей рамкой или точкой. Обе модели вызываются последовательно в этом пакете глубокого обучения. Ограничивающие рамки, представляющие обнаруженные объекты из Grounding DINO, передаются в модель Segment Anything Model в качестве подсказок для создания масок для объектов. Наконец, маски преобразуются в полигоны и возвращаются как объекты ГИС. Эти объекты, описываемые текстовыми подсказками для входных данных, могут представлять собой любой интересующий объект, например транспортные средства, бассейны, корабли, самолеты, солнечные батареи и т. д.
Для выполнения этого рабочего процесса необходимы следующие лицензионные требования:
- ArcGIS Desktop—ArcGIS Image Analyst дополнительный модуль для ArcGIS Pro
- ArcGIS Enterprise – ArcGIS Image Server
- ArcGIS Online – ArcGIS Image for ArcGIS Online
Описание модели
Данная модель содержит следующие характеристики:
- Входные данные - 8-разрядные 3-канальные изображения RGB.
- Выходные данные - класс объектов, содержащий маски разных объектов на изображении.
- Вычислить — этот рабочий процесс требует интенсивных вычислений, поэтому рекомендуется использовать видеокарту с минимальной вычислительной мощностью CUDA 6.0. Для этой модели требуется графический процессор с объемом памяти не менее 8 ГБ.
- Подходящие географические регионы — эта модель предположительно должна эффективно работать по всему миру.
- Архитектура - эта модель основана на базе Grounding DINO с открытым исходным кодом от IDEA-Research (Международная академия цифровой экономики) и модели Segment Anything Model (SAM) от Meta. Вы можете проверить исходный код этого примера пакета глубокого обучения (DLPK) для получения дополнительной информации.
Доступ и загрузка модели
Загрузите предварительно обученную модель Text SAM из ArcGIS Living Atlas of the World. Или получите доступ к модели непосредственно из ArcGIS Pro, либо работайте с ней в ArcGIS Image for ArcGIS Online.
- Перейдите к ArcGIS Living Atlas of the World.
- Войдите под своими учетными данными ArcGIS Online.
- Выполните поиск по запросу Text SAM и откройте страницу элемента в результатах поиска.
- Нажмите кнопку Загрузить, чтобы загрузить модель.
Можно использовать загруженный файл .dlpk напрямую в ArcGIS Pro либо скачать и использовать его в ArcGIS Enterprise. Кроме того, при необходимости можно настроить предварительно обученную модель.
Информация по версии
Ниже приведена информация о версии:
| Дата | Описание |
|---|---|
| Март 2024 |
Первый выпуск модели Text SAM |