| Подпись | Описание | Тип данных |
Входной файл видео | Входной файл видео, который будет конвертирован в FMV-совместимый видеофайл. Поддерживаются следующие типы файлов: .av1,.avi, .csv, .gpx, .h264, .h265, .json, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts, .vob, и .wmv. | File |
Файл метаданных | Файл .csv, .json или .gpx, содержащий метаданные видеокадров для указанного времени. Каждый столбец в файле метаданных соответствует одному полю метаданных, а один из столбцов должен содержать временную метку. Временная метка - это UNIX time Stamp (количество секунд после 1970), умноженное на миллион, хранится в целочисленном формате. Время хранится таким образом, что любой момент времени (до одной миллионной секунды), может быть задан целым числом. Соответственно, временное различие 500000 между двумя записями составляет половину секунды. В первой строке должны быть имена полей для столбцов метаданных. Эти имена полей перечислены в файле FMV_Multiplexer_Field_Mapping_Template.csv, в C:\Program Files\ArcGIS\Pro\Resources\MotionImagery, либо пользовательские имена полей должны быть сопоставлены с соответствующими именами полей FMV, которые используются в шаблоне. Каждая последующая строка содержит значения метаданных для указанного времени, которое называется временной меткой. Имена полей метаданных могут идти в любом порядке, а именовать их следует так, как указано в шаблоне FMV_Multiplexer_Field_Mapping_Template.csv, чтобы имена полей в метаданных были корректно сопоставлены с именами полей метаданных FMV. | File |
Выходной видео файл | Имя выходного видео файла включает расширение файла . Поддерживается только выходной видеофайл .ts. | File |
Файл сопоставления метаданных (Дополнительный) | Файл .csv, содержащий 5 столбцов и 87 строк, основан на файле шаблона FMV_Multiplexer_Field_Mapping_Template.csv, полученного из C:\Program Files\ArcGIS\Pro\Resources\MotionImagery. Этот файл .csv перекрестно ссылается на имя поля метаданных по отношению к имени поля FMV. Каждая строка представляет один из параметров стандартных метаданных, например, высоту сенсора. Первые два столбца содержат информацию для тега и имени параметра MISB, которые указаны в форме. Третий столбец содержит имя поля, которое появляется в параметре Входной файл метаданных. Когда третий столбец заполнен, инструмент сможет сопоставить имена поля метаданных с соответствующими тегами метаданных FMV. | File |
Файл сдвига во времени (Дополнительный) | Файл, содержащий заданные интервалы временного сдвига. В идеале видео изображения и метаданные синхронизируются по времени. В этом случе контур изображения в FMV-видео окружает объекты, которые можно увидеть в изображении видео. Иногда есть несогласованность между временем в видео и временем в метаданных. Это приводит к явной временной задержке между тем, когда наземный объект окружен контуром изображения, и когда этот наземный объект становится видимым на видео изображении. Если этот временной сдвиг заметен и постоянен, мультиплексор может настроить синхронизацию метаданных, чтобы они соответствовали видео. Если есть несоответствие между временем в видео и временем в метаданных, укажите сдвиг по времени в шаблоне FMV_Multiplexer_TimeShift_Template.csv, вC:\Program Files\ArcGIS\Pro\Resources\MotionImagery. Файл наблюдений сдвига по времени представляет собой файл .csv, содержащий два столбца (elapsed time и time shift), а также одну или несколько строк данных. Строка для названий столбцов не обязательна. Например, если у видеоизображения есть пятисекундное отставание от основного времени, то в файле наблюдения сдвига по времени будет только одна строка: 0:00, -5. Все видео будет сдвинуто на пять секунд. Если есть пятисекундная задержка на отметке 0:18 видео и девятисекундная задержка на отметке 2:21 видео, то в файле наблюдения сдвига по времени будет две строки: В этом случае видео смещается по-разному в начале и в конце видео. Вы можете определить любое количество интервалов временного сдвига в файле наблюдения временного сдвига. | File |
Цифровая модель рельефа (Дополнительный) | Источник высот необходим для вычисления координат углов кадра видео. Этот источник может быть слоем, сервисом изображений или средним значением высоты или глубины. Среднее значение высоты должно учитывать единицы измерения, например, метры или футы, или другие единицы измерения длины. Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Рекомендуется указать слой ЦМР или сервис изображений. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например 15 футов или 10 метров. Для случая под поверхностью вы можете указать, например -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Для расчета координат углов кадра среднее значение высоты всегда должно быть меньше высоты или глубины сенсора, записанных в метаданных. Например, если видео было снято на высоте сенсора 10 метров и выше, допустимая средняя высота может составлять 9 метров или меньше. Если видео было снято под водой на глубине -10 метров и глубже, допустимая средняя высота (относительно уровня моря) может быть -11 или больше. Если значение Высоты сенсора меньше среднего значения высоты, координаты четырех углов не будут вычисляться для этой записи. Если не известна средняя высота для области проекта, используйте ЦМР. | Raster Layer; Image Service; Linear Unit |
Входная система координат (Дополнительный) | Система координат, используемая для значения параметра Файл метаданных. | Coordinate System |
Доступно с лицензией Image Analyst.
Краткая информация
Создает один FMV-совместимый полнометражный видеофайл, который сочетает архивный видео файл и отдельный связанный с ним файл метаданных, синхронизированный по временным меткам. Процесс комбинации двух файлов, содержащих файлы видео и метаданных, называется мультиплексацией.
Использование
Этот инструмент предназначен для архивных видео файлов и не работает с потоковым видео в реальном времени.
Формат видеофайла, который будет мультиплексирован, должен соответствовать одному из поддерживаемых видео форматов. Отдельный файл метаданных должен быть файлом с разделителями-запятыми (CSV), JSON или GPS Exchange Format (GPX), в котором содержатся корректные заголовки полей и связанные значения.
Форматы видео, поддерживаемые в качестве входных данных для инструмента, перечислены в следующей таблице:
Описание Расширение Файл AOMedia Video 1
.av1 Audio Video Interleaved
.avi Видео файл¹ H264
.h264 Видео файл¹ H265
.h265 HLS (Адаптивная скорость передачи данных (ABR))
.m3u8 Файл MOV
.mov MPEG-2 Transport Stream
.ts MPEG-2 Program Stream
.ps M2TS Transport Stream
.m2ts Файл MPEG
.mpg Файл MPEG-2
.mpg2 Файл MPEG-2
.mp2 Файл MPEG
.mpeg MPEG-4 Movie
.mp4 Файл MPEG-4
.mpg4 MPEG-Dash
.mpd VLC (mpeg2)
.mpeg2 Файл VLC Media (mpeg4)
.mpeg4 Файл VLC Media (vob)
.vob Файл Windows Media Video
.wmv ¹ Требуется мультиплексирование
Формат выходного видеофайла - только .ts.
Метаданные, связанные с потоковым видеофайлом, используются для вычисления пути пролета видео-сенсора, центра кадра изображения видео и четырех углов рамки кадра видео на карте.
FMV поддерживает спецификацию Motion Imagery Standards Board (MISB). Полная спецификация MISB определяет гораздо больше параметров, чем те, которые необходимы для FMV. Указанные параметры MISB будут закодированы в финальное видео, включая все параметры их поднабора.
Чтобы вычислить и показать соответствующие угловые точки рамки кадра видео в виде контура кадра на карте, нужно 12 отдельных полей в метаданных, которые указаны ниже с деталями в описании параметров. Если метаданные заполнены точно и полностью, инструмент вычислит углы кадра видео, размер, форму и расположение контура кадра видео, которое затем может быть показано на карте.
- Точная временная отметка
- Широта сенсора
- Долгота сенсора
- Эллипсоидальная высота сенсора или Истинная высота сенсора
- Угол направления платформы
- Угол тангажа платформы
- Угол крена платформы
- Угол относительного тангажа сенсора
- Угол относительной высоты сенсора
- Угол относительного азимута сенсора
- Горизонтальное поле зрения сенсора
- Вертикальное поле зрения сенсора
Это минимальный набор метаданных, который нужен, чтобы вычислить преобразование между видео и картой, показать контур видео на карте, а также включить другие функции вроде оцифровки и пометок видео на карте.
Значения для полей метаданных могут быть введены в файл шаблона метаданных FMV_Multiplexer_Field_Mapping_Template.csv из C:\Program Files\ArcGIS\Pro\Resources\MotionImagery.
- Файл FMV_Multiplexer_Field_Mapping_Template.csv содержит все поля метаданных MISB.
- Для создания FMV-совместимого видео файла нужно только 12 параметров, указанных выше. Нет необходимости задавать все параметры, указанные в спецификации MISB, чтобы создать FMV-совместимый видео файл. Если заданы дополнительные параметры MISB, они будут встроены в FMV-совместимый видео файл.
Производительность полученного мультиплексированного видео будет зависеть от типа и качества данных, которые содержатся в файле метаданных, и от того, насколько точно синхронизированы файлы метаданных и видео-данные.
- Если в файле FMV_Multiplexer_Field_Mapping_Template.csv содержатся только поля UNIX Time Stamp, Sensor Latitude и Sensor Longitude, местоположение сенсора будет показано на карте, но рамки кадров видео отображаться не будут. Некоторая функциональность, например, оцифровка объектов и измерение расстояния в видео, не поддерживается.
- Если временная метка, связывающая видео и метаданные, синхронизирована не точно, то контур видео и местоположение сенсора на карте будет смещено относительно вида в видео-проигрывателе. В таком случае используйте шаблон FMV_Multiplexer_TimeShift_Template.csv в C:\Program Files\ArcGIS\Pro\Resources\MotionImagery для выравнивания времени видео и метаданных.
Один набор параметров в файле FMV_Multiplexer_Field_Mapping_Template.csv включает координаты карты для четырех углов кадра изображения видео, спроецированного на поверхность земли. Если указаны координаты карты для четырех углов, то они будут использоваться при создании FMV-совместимого видео. Если координат карты для четырех углов нет, укажите источник данных Цифровой модели рельефа (ЦМР) в параметре Цифровая модель рельефа, после чего инструмент вычислит контур видео на основе указанных выше параметров.
Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например 15 футов или 10 метров. Для случая под поверхностью вы можете указать, например -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Рекомендуется указать слой ЦМР или сервис изображений, если он есть.
FMV поддерживает данные видео индикатора движущейся цели (VMTI) на основе методов отслеживания объектов в движущемся изображении Если данные VMT записаны в файл, отдельный от связанного с ним видеофайла, их можно закодировать в этот видеофайл с помощью инструмента Видео-Мультиплексор. FMV соответствует стандарту MISB Video Moving Target Indicator and Track Metadata.
Закодируйте данные VMTI в видео, предоставив необходимую информацию VMTI для соответствующего видеокадра, используя файл метаданных .csv, .json или .gpx, содержащий данные для следующих полей:
- LDSVer,TimeStamp,FrameCenterLongitude,FrameCenterLatitude,SensorLongitude,SensorLatitude,vmtilocaldataset
- 5,1546300800231000,-76.1309338,36.91118708,-76.1309338,36.91118708,1 0.9938099 1611919 1815608 1711844;1 0.39056745 1438997 1556213 1496645
Последний столбец, vmtilocaldataset, содержит ограничивающую рамку обнаруженного объекта, где каждое значение, разделенное пробелами, определяется тремя значениями: Object_ID Confidence_Level Top_Left_Pixel Bottom_Right_Pixel Center_Pixel.
Вы можете задать выявления нескольких объектов для данной метки времени, используя точку с запятой (;) в качестве разделителя, как показано в приведенном выше примере.
Используйте MISB Tag 74 в файле FMV_Multiplexer_Field_Mapping_Template.csv.
Параметры
VideoMultiplexer(in_video_file, metadata_file, out_video_file, {metadata_mapping_file}, {timeshift_file}, {elevation_layer}, {input_coordinate_system})| Имя | Описание | Тип данных |
in_video_file | Входной файл видео, который будет конвертирован в FMV-совместимый видеофайл. Поддерживаются следующие типы файлов: .av1,.avi, .csv, .gpx, .h264, .h265, .json, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts, .vob, и .wmv. | File |
metadata_file | Файл .csv, .json или .gpx, содержащий метаданные видеокадров для указанного времени. Каждый столбец в файле метаданных соответствует одному полю метаданных, а один из столбцов должен содержать временную метку. Временная метка - это UNIX time Stamp (количество секунд после 1970), умноженное на миллион, хранится в целочисленном формате. Время хранится таким образом, что любой момент времени (до одной миллионной секунды), может быть задан целым числом. Соответственно, временное различие 500000 между двумя записями составляет половину секунды. В первой строке должны быть имена полей для столбцов метаданных. Эти имена полей можно сопоставить с соответствующими именами полей, используя при необходимости файл FMV_Multiplexer_Field_Mapping_Template.csv в C:\Program Files\ArcGIS\Pro\Resources\MotionImagery. Каждая последующая строка содержит значения метаданных для указанного времени в поле времени. | File |
out_video_file | Имя выходного видео файла включает расширение файла . Поддерживается только выходной видеофайл .ts. | File |
metadata_mapping_file (Дополнительный) | Файл .csv, содержащий 5 столбцов и 87 строк, основан на файле шаблона FMV_Multiplexer_Field_Mapping_Template.csv, полученного из C:\Program Files\ArcGIS\Pro\Resources\MotionImagery. Каждая строка представляет один из тегов стандартных метаданных MISB, например, высоту сенсора. Первые два столбца содержат индекс MISB и имя тега MISB. Третий столбец содержит имя поля, которое появляется в параметре in_metadata_file, если он есть. Когда третий столбец заполнен, инструмент сможет сопоставить имена поля метаданных с соответствующими тегами метаданных FMV. Четвертый и пятый столбцы представляют единицы измерения и примечания, связанные с тегом, соответственно. | File |
timeshift_file (Дополнительный) | Файл, содержащий заданные интервалы временного сдвига. В идеале видео изображения и метаданные синхронизируются по времени. В этом случе контур изображения в FMV-видео окружает объекты, которые можно увидеть в изображении видео. Иногда есть несогласованность между временем в видео и временем в метаданных. Это приводит к явной временной задержке между тем, когда наземный объект окружен контуром изображения, и когда этот наземный объект становится видимым на видео изображении. Если этот временной сдвиг заметен и постоянен, мультиплексор может настроить синхронизацию метаданных, чтобы они соответствовали видео. Если есть несоответствие между временем в видео и временем в метаданных, укажите сдвиг по времени в шаблоне FMV_Multiplexer_TimeShift_Template.csv, вC:\Program Files\ArcGIS\Pro\Resources\MotionImagery. Файл наблюдений сдвига по времени представляет собой файл .csv, содержащий два столбца (elapsed time и time shift), а также одну или несколько строк данных. Строка для названий столбцов не обязательна. Например, если у видеоизображения есть пятисекундное отставание от основного времени, то в файле наблюдения сдвига по времени будет только одна строка: 0:00, -5. Все видео будет сдвинуто на пять секунд. Если есть пятисекундная задержка на отметке 0:18 видео и девятисекундная задержка на отметке 2:21 видео, то в файле наблюдения сдвига по времени будет две строки: В этом случае видео смещается по-разному в начале и в конце видео. Вы можете определить любое количество интервалов временного сдвига в файле наблюдения временного сдвига. | File |
elevation_layer (Дополнительный) | Источник высот необходим для вычисления координат углов кадра видео. Этот источник может быть слоем, сервисом изображений или средним значением высоты или глубины. Среднее значение высоты должно учитывать единицы измерения, например, метры или футы, или другие единицы измерения длины. Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Рекомендуется указать слой ЦМР или сервис изображений. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например 15 футов или 10 метров. Для случая под поверхностью вы можете указать, например -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Для расчета координат углов кадра среднее значение высоты всегда должно быть меньше высоты или глубины сенсора, записанных в метаданных. Например, если видео было снято на высоте сенсора 10 метров и выше, допустимая средняя высота может составлять 9 метров или меньше. Если видео было снято под водой на глубине -10 метров и глубже, допустимая средняя высота (относительно уровня моря) может быть -11 или больше. Если значение Высоты сенсора меньше среднего значения высоты, координаты четырех углов не будут вычисляться для этой записи. Если не известна средняя высота для области проекта, используйте ЦМР. | Raster Layer; Image Service; Linear Unit |
input_coordinate_system (Дополнительный) | Система координат, используемая для значения параметра metadata_file. | Coordinate System |
Пример кода
В этом примере создается видео файл, который объединяет архивированное видео и связанные метаданные.
arcpy.ia.VideoMultiplexer(r"C:\input_video.mpeg", r"C:\video_metadata.csv", r"C:\output_video.ts",
r"C:\Video_Multiplexer_MISB_Field_Mapping_Template.csv",
r"C:\Video_Multiplexer_TimeShift_Template.csv", "c:\\test\\dem.tif")В этом примере создается видео файл, который объединяет архивированное видео и связанные метаданные.
import arcpy
from arcpy.ia import *
arcpy.CheckOutExtension("ImageAnalyst")
in_video = "c:\\test\\drone_vid.mpeg"
in_metadata = "c:\\test\\videometadata.csv"
out_video = "c:\\test\\mutiplexer_output.ts"
MISB_mapping = "c:\\test\\Field_Mapping_Template.csv"
time_shift_file = "c:\\test\\timeshift.csv"
in_elevation_layer = "c:\\test\\dem.tif"
arcpy.ia.VideoMultiplexer(in_video, in_metadata, out_video, MISB_mapping, time_shift_file, in_elevation_layer)