Доступно с лицензией Image Analyst.
Одной из возможностей движущихся изображений является отслеживание определенных объектов в видеоданных во время их воспроизведения. Эти объекты могут быть неподвижными или движущимися, могут затемняться и вновь появляться или изменять форму (например, человек, садящийся в транспортное средство). Функция отслеживания объектов в полноэкранном видео (FMV) предоставляет автоматизированные и компьютерные инструменты для решения различных ситуаций при отслеживании объектов на видеоизображениях. Она опирается на глубокое обучение и технологию компьютерного зрения, чтобы помочь в отслеживании объектов, извлечении объектов и сопоставлении. Вы можете создать модель отслеживания объектов глубокого обучения и использовать набор инструментов для выбора и отслеживания интересующего объекта. Центроиды, соответствующие прямоугольникам идентификации объекта, могут быть оцифрованы и сохранены как класс точек в базе геоданных проекта. Сохраненные точки затем могут отображаться при воспроизведении архивного видео.
Требования
Возможность отслеживания объектов в FMV доступна в AllSource с дополнительным модулем ArcGIS Image Analyst.
Примечание:
Убедитесь, что драйверы вашей видеокарты актуальны.
Модель глубокого обучения
Для отслеживания объектов на видео требуется одна или несколько обученных моделей глубокого обучения. Эффективность отслеживания зависит от качества обучающих данных глубокого обучения и от того, насколько тесно интересующий вас объект связан с обучающими данными. Например, чтобы отследить грузовик, движущийся по шоссе, у вас должны быть отмеченные обучающие выборки грузовиков со многих ракурсов. Источником обучающих выборок (изображений с аннотациями) должны быть движущиеся изображения. Отмеченные обучающие выборки используются для обучения модели глубокого обучения отслеживанию объектов, например, в данном случае грузовиков. Модель будет иметь ограниченную способность отслеживать объекты с различным внешним видом, такие как автомобили, но может иметь успех в отслеживании более крупных транспортных средств для отдыха или автобусов.
Вы должны установить пакеты среды глубокого обучения, чтобы выполнять рабочие процессы глубокого обучения в AllSource. Используйте различные инструменты для подготовки обучающих данных видео и неподвижных изображений, отмечания объектов, создания моделей глубокого обучения, логического вывода и просмотра результатов. Для получения информации об установке этих пакетов см. раздел Установка среды глубокого обучения для ArcGIS.
Глубокое обучение требует больших вычислительных ресурсов, поэтому рекомендуется использовать мощную видеокарту (GPU) с поддержкой вычислительных возможностей CUDA версии 6.0 или более поздней.
Подробнее о глубоком обучении и рабочих процессах глубокого обучения см. Введение в глубокое обучение и Глубокое обучение в ArcGIS Pro. Для получения дополнительной информации о наборе инструментов глубокого обучения в ArcGIS см. Обзор набора инструментов глубокого обучения.
Вкладка отслеживание
Контекстная вкладка Отслеживание включается, когда вы выбираете видео на панели Содержание.
Примечание:
Вкладка Отслеживание доступна после установки и включения в AllSource пакетов глубокого обучения.Инструменты в группе Отслеживание объектов позволяют вам идентифицировать и управлять отслеживанием объектов в ваших видеоданных:
- Панель отслеживания — Открыть панель Отображение отслеживания объектов, где вы можете указать модель глубокого обучения отслеживания объектов и настроить параметры.
- Включить — Активировать интерактивные инструменты отслеживания объектов.
- Добавить объект — Добавить объект, чтобы выполнить отслеживание объекта, интерактивно нарисовав прямоугольник вокруг объекта.
- Переместить объект — Щелкните прямоугольник отслеживания существующего объекта, чтобы выбрать его, и перерисуйте прямоугольник вокруг обновленного положения объекта.
- Удалить объект — Щелкните прямоугольник отслеживания существующего объекта, чтобы удалить его из активного отслеживания.
- Объекты в пространственный объект - Сохранить центроиды прямоугольников выявления объектов в класс пространственных объектов.
Панель отслеживания
Нажмите кнопку Панель отслеживания, чтобы открыть панель Отображение отслеживания объектов. Панель содержит вкладки Настройки и Отслеживаемые объекты.
Настройки
На вкладке Настройки вы можете выбрать модель глубокого обучения и задать параметры для отслеживания объектов.
Нажмите кнопку Добавить модель отслеживания объектов с использованием локального пути или URL-адреса 
, чтобы открыть диалоговое окно Добавить модель глубокого обучения из пути. Укажите путь к файлу пакета модели глубокого обучения (.dlpk), указав URL-адрес или перейдя к файлу в локальном каталоге. Вы можете назначить псевдоним для имени модели в текстовом окне Модель. Нажмите кнопку Добавить, чтобы загрузить модель и закрыть диалоговое окно. Название модели отображается в раскрывающемся списке Модель и выбирается из него.
Вкладка Настройки содержит опции, которые помогают управлять отслеживанием объектов: Обнаружение сбоя трека, Восстановить трек и Автоматический детектор.
- Обнаружение сбоя отслеживания — указывает, успешно ли отслеживается объект на основе изменений внешнего вида. Эта опция по умолчанию включена.
- Интервал (кадры) — Интервал, измеренный количеством кадров, в котором приложение проверяет наличие изменений внешнего вида объекта. Значение по умолчанию - 5 кадров.
- Минимальный размер объекта (пикселы) — Отслеживание объекта прекратится, если объект меньше указанного размера. Значение по умолчанию - 10 пикселов.
- Максимальный интервал поиска — При потере объекта задается максимальный интервал поиска, определенный в единицах видеокадров. Значение по умолчанию – 60.
- Размер очереди состояния — количество кадров, для которых сохраняется статус объекта, когда объект теряется до истечения интервала поиска.
- Восстановить трек — указывает, предпринимается ли попытка найти объект после потери трека. Эта опция по умолчанию включена.
- Порог достоверности (0-1) — минимальное соотношение между сопоставленными характеристиками исходного изображения и характеристиками искомого объекта для успешного восстановления. Порог достоверности - это число от 0 до 1. Значение по умолчанию равно 0.1.
- Минимальный порог перекрытия (0-1) — Минимальное соотношение перекрытия между обнаруженным объектом и искомым объектом для успешного восстановления. Пороговое значение - это число от 0 до 1. Значение по умолчанию равно 0.1.
- Автоматический детектор — Указывает, будет ли обнаружение и идентификация целевых объектов выполняться автоматически с использованием модели детектора, основанной на глубоком обучении. По умолчанию не отмечен.
Укажите путь к файлу модели глубокого обучения (.emd), указав URL-адрес или перейдя к файлу в локальном каталоге.
- Частота автоматического детектора — Интервал между последовательными запусками детектора для повторной идентификации и перестройки целевых объектов в кадре. Более низкие значения приводят к большей точности при снижении производительности. Значение по умолчанию равно 1.
- Минимальный порог достоверности — Минимальное значение достоверности для фильтрации обнаружений. Пороговое значение - это число от 0 до 1. Значение по умолчанию равно 0.4.
Отслеживаемые объекты
Вкладка Отслеживаемые объекты - это место, где вы можете просматривать отслеживаемые объекты и управлять ими. Значения ID, Источника и Статуса каждого отслеженного объекта перечислены в таблице.
- ID — Уникальный идентификатор для каждого отслеживаемого объекта.
- Источник — исходный видеофайл, в котором идентифицирован объект.
- Статус — статус каждого отслеживаемого объекта: активно отслеживается, потерян или находится в поиске.
Вкладка Отслеживаемые объекты также содержит следующие пять кнопок действий для управления отслеживаемыми объектами:
- Добавить — Добавьте один или несколько объектов для отслеживания, нарисовав прямоугольник вокруг каждого интересующего объекта.
- Изменить положение — Щелкните прямоугольник отслеживания существующего объекта, чтобы выделить его, и переместите прямоугольник вокруг обновленного положения объекта.
- Удалить — Щелкните прямоугольник отслеживания существующего объекта, чтобы удалить его из активного отслеживания.
- Обновить связь — Обновить связь указанного объекта со статусом Потерян, перерисовав обновленное положение объекта.
- Удалить — Удалить выбранный объект из списка отслеживаемых объектов.
Рабочий процесс отслеживания объектов
Краткое описание рабочего процесса отслеживания объектов выглядит следующим образом:
- Загрузите модель глубокого обучения и установите параметры отслеживания на вкладке Настройки панели Отображение отслеживания объектов.
- Нажмите Включить, чтобы активировать инструменты отслеживания объектов.
- Нажмите Добавить объект, чтобы нарисовать прямоугольник вокруг объекта, который вы хотите отслеживать в видеоплеере. Объект будет отслеживаться в каждом видеокадре.
Примечание:
Этот шаг не требуется в режиме Автоматического детектора.
- На вкладке Отслеживаемые объекты просмотрите статус отслеживаемых объектов.
- Если объект становится затемненным и отслеживание теряется, нажмите Обновить связь и перерисуйте прямоугольник вокруг обновленного положения объекта, чтобы возобновить отслеживание.
Примечание:
Этот шаг не требуется в режиме Автоматического детектора.
- Если прямоугольник отслеживания смещается по отношению к отслеживаемому объекту, нажмите Изменить положение, выберите прямоугольник отслеживания этого объекта и переместите его вокруг объекта.
Примечание:
Этот шаг не требуется в режиме Автоматического детектора.
- При необходимости нажмите Добавить, чтобы добавить объект для отслеживания.
Примечание:
Этот шаг не требуется в режиме Автоматического детектора.
- При необходимости нажмите Удалить, чтобы удалить объект из активного отслеживания.
Примечание:
Этот шаг не требуется в режиме Автоматического детектора.
- На вкладке Отслеживание в группе Отслеживание объектов щелкните Объекты в пространственный объект и укажите выходное местоположение и префикс имени, которые будут использоваться для сохранения центроидов объектов в классе пространственных объектов. При необходимости, укажите, будет ли класс объектов добавлен на карту, а также интервал частоты в секундах, с которым будут сохраняться центроиды.