Доступно с лицензией Image Analyst.
Одной из возможностей движущихся изображений является отслеживание определенных объектов в видеоданных во время их воспроизведения. Эти объекты могут быть неподвижными или движущимися, могут затемняться и вновь появляться или изменять форму (например, человек, садящийся в транспортное средство). Функция отслеживания объектов в полноэкранном видео (FMV) предоставляет автоматизированные и компьютерные инструменты для решения различных ситуаций при отслеживании объектов на видеоизображениях. Она опирается на глубокое обучение и технологию компьютерного зрения, чтобы помочь в отслеживании объектов, извлечении объектов и сопоставлении. Вы можете создать модель отслеживания объектов глубокого обучения и использовать набор инструментов для выбора и отслеживания интересующего объекта. Центроиды, соответствующие прямоугольникам идентификации объекта, могут быть оцифрованы и сохранены как класс точек в базе геоданных проекта. Сохраненные точки затем могут отображаться при воспроизведении архивного видео.
Требования
Возможность отслеживания объектов в FMV доступна в ArcGIS AllSource с дополнительным модулем ArcGIS Image Analyst.
Примечание:
Убедитесь, что драйверы вашей видеокарты актуальны.
Модель глубокого обучения
Для отслеживания объектов на видео требуется одна или несколько обученных моделей глубокого обучения. Эффективность отслеживания зависит от качества обучающих данных глубокого обучения и от того, насколько тесно интересующий объект связан с обучающими данными. Например, чтобы отследить грузовик, движущийся по шоссе, у вас должны быть отмеченные обучающие выборки грузовиков со многих ракурсов. Источником обучающих выборок (изображений с аннотациями) должны быть движущиеся изображения. Отмеченные обучающие выборки используются для обучения модели глубокого обучения отслеживанию объектов, например, в данном случае грузовиков. Модель будет иметь ограниченную способность отслеживать объекты с различным внешним видом, такие как автомобили, но может иметь успех в отслеживании более крупных транспортных средств для отдыха или автобусов.
Вы должны установить пакеты среды глубокого обучения, чтобы выполнять рабочие процессы глубокого обучения в ArcGIS AllSource. Используйте различные инструменты для подготовки обучающих данных видео и неподвижных изображений, отмечания объектов, создания моделей глубокого обучения, логического вывода и просмотра результатов. Для получения информации об установке этих пакетов см. раздел Установка среды глубокого обучения для ArcGIS.
Глубокое обучение требует больших вычислительных ресурсов, поэтому рекомендуется использовать мощную видеокарту (GPU) с поддержкой вычислительных возможностей CUDA версии 6.0 или более поздней.
Подробнее о глубоком обучении и рабочих процессах глубокого обучения см. Введение в глубокое обучение и Глубокое обучение в ArcGIS Pro. Для получения дополнительной информации о наборе инструментов глубокого обучения в ArcGIS см. Обзор набора инструментов глубокого обучения.
Вкладка Отслеживание объектов
Контекстная вкладка Отслеживание объектов включается, когда вы выбираете видео на панели Содержание.
Примечание:
Вкладка Отслеживание объектов доступна после установки и включения пакетов глубокого обучения в ArcGIS AllSource.В приведенных ниже разделах описываются инструменты в различных группах на вкладке Отслеживание объектов.
Группа Отслеженные объекты
Инструменты в группе Отслеженные объекты позволяют идентифицировать и управлять отслеживанием объектов в видеоданных:
- Включить отслеживание - активирует отслеживание объектов, используя указанную конфигурацию трекера объектов.
- Добавить объект - добавить объект, чтобы выполнить отслеживание объекта, щелкнув или нарисовав прямоугольник вокруг объекта. Дважды щелкните, чтобы включить режим сохранения.
- Переместить объект - щелкните прямоугольник отслеживания существующего объекта, чтобы выбрать его, и перерисуйте прямоугольник вокруг обновленного положения объекта. Дважды щелкните, чтобы включить режим сохранения.
- Удалить объект - удаление отслеживаемых объектов из видеоплеера, с помощью выбора или рисования рамки вокруг объектов. Дважды щелкните, чтобы включить режим сохранения.
- Удалить объекты - удалите отслеживаемые объекты из видеоплеера и диспетчера отслеживаемых объектов, щелкнув объекты или нарисовав рамку вокруг них. Дважды щелкните, чтобы включить режим сохранения.
- Объекты в пространственный объект - Сохранить центроиды прямоугольников выявления объектов в класс пространственных объектов.
Группа Сохранить
Используйте инструмент Объекты в пространственные объекты в группе Сохранить, чтобы сохранить центроиды отслеживаемых объектов в базе геоданных.
Группа Управление
Инструменты в группе Управление помогают в управлении системой отслеживания объектов:
- Настроить трекер - настройте трекер объектов и примените обновления к моделям трекера объектов по умолчанию.
- Отслеженные объекты - отображение панели Менеджер отслеженных объектов.
Панель Настройка трекера объектов
Щелкните кнопку Настроить трекер, чтобы открыть панель Настройка трекера объектов. На панели находятся настройки Модель отслеживания объектов и Модель автоматического выявления.
Настройки
Параметр Модель отслеживания объектов позволяет выбрать модель глубокого обучения и задать дополнительные параметры для отслеживания объектов.
Щелкните кнопку обзора , чтобы открыть диалоговое окно Добавить модель глубокого обучения из пути. Укажите путь к файлу пакета модели глубокого обучения (.dlpk), указав URL-адрес или перейдя к файлу в локальном каталоге. Вы можете назначить псевдоним для имени модели в текстовом окне Модель. Нажмите кнопку Добавить, чтобы загрузить модель и закрыть диалоговое окно. Название модели отображается в раскрывающемся списке Модель и выбирается из него.
Настройки содержат опции для управления отслеживанием объектов, включая Минимальный размер объекта (пиксели), Выявить потерянные треки, Восстановить потерянные треки и Модель автоматического обнаружения.
- Выявить потерянные треки - определите, успешно ли отслеживается объект на основе изменений внешнего вида, таких как изменение угла обзора, затемнение или перемещение за пределы кадра. Эта опция по умолчанию включена.
- Интервал (кадры) - задайте интервал, измеренный количеством кадров, в котором приложение проверяет наличие изменений внешнего вида объекта. Значение по умолчанию равно 5.
- Восстановить потерянные треки - указывает, предпринимается ли попытка найти объект после потери трека. Эта опция по умолчанию включена.
- Порог достоверности (0-1) - минимальное соотношение между сопоставленными характеристиками исходного изображения и характеристиками искомого объекта для успешного восстановления. Порог достоверности - это число от 0 до 1. Значение по умолчанию равно 0.1.
- Порог перекрытия (0-1) - задайте минимальное соотношение перекрытия между обнаруженным объектом и искомым объектом для успешного восстановления. Пороговое значение - это число от 0 до 1. Значение по умолчанию равно 0.1.
- Максимальный интервал поиска - задайте максимальный интервал поиска, в единицах видеокадров, при потере объекта. Значение по умолчанию – 60.
- Размер очереди состояния — количество кадров, для которых сохраняется статус объекта, когда объект теряется до истечения интервала поиска.
- Модель автоматического обнаружения - указывает, будет ли обнаружение и идентификация целевых объектов выполняться автоматически с использованием модели детектора, основанной на глубоком обучении. По умолчанию не отмечен. Укажите путь к файлу пакета модели глубокого обучения, выбрав файл в локальном каталоге с помощью кнопки обзора и выбрав файл .dlpk или указав URL-адрес.
- Интервал (кадры) - задайте интервал, измеренный количеством кадров, в котором проверяется наличие изменений внешнего вида объекта. Значение по умолчанию - 5 кадров.
- Порог достоверности (0-1) - минимальное соотношение между сопоставленными характеристиками исходного изображения и характеристиками искомого объекта для успешного восстановления. Порог достоверности - это число от 0 до 1. Значение по умолчанию равно 0.1.
Панель Менеджер отслеживаемых объектов
Вкладка Отслеживаемые объекты - это место, где вы можете просматривать отслеживаемые объекты и управлять ими. В таблице перечислены значения Статус, ID и Источник, описанные ниже, каждого отслеженного объекта.
- Статус — статус каждого отслеживаемого объекта: активно отслеживается, потерян или находится в поиске.
- ID — Уникальный идентификатор для каждого отслеживаемого объекта.
- Источник — исходный видеофайл, в котором идентифицирован объект.
Панель Менеджер отслеживаемых объектов взаимодействует с лентой Отслеженные объекты, когда активировано Включить отслеживание.
- Включить отслеживание - активирует отслеживание объектов, используя указанную конфигурацию трекера объектов.
- Добавить объект - добавить объект, чтобы выполнить отслеживание объекта, щелкнув или нарисовав прямоугольник вокруг объекта. Дважды щелкните, чтобы включить режим сохранения.
- Переместить объект - переместите объект, щелкнув его прямоугольник отслеживания, чтобы выбрать его, и перерисуйте прямоугольник вокруг обновленного положения объекта. Дважды щелкните, чтобы включить режим сохранения.
- Удалить объект - удаление отслеживаемых объектов из видеоплеера, с помощью выбора или рисования рамки вокруг объектов. Дважды щелкните, чтобы включить режим сохранения.
- Удалить объекты - удалите отслеживаемые объекты из видеоплеера и Менеджера отслеживаемых объектов, щелкнув объекты или нарисовав рамку вокруг них. Дважды щелкните, чтобы включить режим сохранения.
Отслеживание объектов
Для отслеживания объектов выполните следующие шаги:
- Загрузите модель глубокого обучения и установите параметры отслеживания на панели Настроить трекер, в панели Отображение отслеживания объектов.
- Щелкните Включить отслеживание, чтобы активировать инструменты отслеживания объектов.
- Нажмите Добавить объект, чтобы нарисовать прямоугольник вокруг объекта, или щелкнуть объект, который вы хотите отслеживать в видеоплеере.
Этот шаг не требуется при использовании режима Автоматического детектора.
Объект будет отслеживаться в каждом видеокадре.
- На панели Менеджер отслеживаемых объектов просмотрите статус отслеживаемых объектов.
- Если объект становится затемненным и отслеживание теряется, щелкните Переместить объект и перерисуйте прямоугольник вокруг обновленного положения объекта, чтобы возобновить отслеживание.
Этот шаг не требуется при использовании режима Автоматического детектора.
- При необходимости нажмите Добавить, чтобы добавить объект для отслеживания.
Этот шаг не требуется при использовании режима Автоматического детектора.
- При необходимости нажмите Удалить, чтобы удалить объект из активного отслеживания.
Этот шаг не требуется при использовании режима Автоматического детектора.
- На вкладке Отслеживание в группе Сохранить щелкните Объекты в пространственный объект и задайте выходное местоположение и префикс имени, которые будут использоваться для сохранения центроидов объектов в классе пространственных объектов.
При необходимости, укажите, будет ли класс объектов добавлен на карту, а также интервал частоты в секундах, с которым будут сохраняться центроиды.