| Подпись | Описание | Тип данных |
Входной файл видео | Входной файл видео, который будет конвертирован в FMV-совместимый видео файл. В поддерживаются следующие типы файлов: .avi, .csv, .gpx, .h264, .h265, .json, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts и .vob. | File |
Файл метаданных | Файл .csv, .json или .gpx, содержащий метаданные видеокадров для указанного времени. Каждый столбец в файле метаданных соответствует одному полю метаданных, а один из столбцов должен содержать временную метку. Временная метка - это UNIX time Stamp (количество секунд после 1970), умноженное на миллион, хранится в целочисленном формате. Время хранится таким образом, что любой момент времени (до одной миллионной секунды), может быть задан целым числом. Соответственно, временное различие 500000 между двумя записями составляет половину секунды. В первой строке должны быть имена полей для столбцов метаданных. Эти имена полей перечислены в файле FMV_Multiplexer_Field_Mapping_Template.csv в C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo, либо пользовательские имена полей должны быть сопоставлены с соответствующими именами полей FMV, которые используются в шаблоне. Каждая последующая строка содержит значения метаданных для указанного времени, которое называется временной меткой. Имена полей метаданных могут идти в любом порядке, а именовать их следует так, как указано в шаблоне FMV_Multiplexer_Field_Mapping_Template.csv, чтобы имена полей в метаданных были корректно сопоставлены с именами полей метаданных FMV. | File |
Выходной видео файл | Имя выходного видео файла включает расширение файла . Поддерживается только выходной видеофайл .ts. | File |
Файл сопоставления метаданных (Дополнительный) | Файл .csv, содержащий 5 столбцов и 87 строк, основан на файле шаблона FMV_Multiplexer_Field_Mapping_Template.csv, полученного из C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Этот файл .csv перекрестно ссылается на имя поля метаданных по отношению к имени поля FMV. Каждая строка представляет один из параметров стандартных метаданных, например, высоту сенсора. Первые два столбца содержат информацию для тега и имени параметра MISB, которые указаны в форме. Третий столбец содержит имя поля, которое появляется в параметре Входной файл метаданных. Когда третий столбец заполнен, инструмент может сопоставить ваши имена поля метаданных с соответствующими тегами метаданных FMV. | File |
Файл сдвига во времени (Дополнительный) | Файл, содержащий заданные интервалы временного сдвига. В идеале видео изображения и метаданные синхронизируются по времени. В этом случе контур изображения в FMV-видео окружает объекты, которые можно увидеть в изображении видео. Иногда есть несогласованность между временем в видео и временем в метаданных. Это приводит к явной временной задержке между тем, когда наземный объект окружен контуром изображения, и когда этот наземный объект становится видимым на видео изображении. Если этот временной сдвиг заметен и постоянен, мультиплексор может настроить синхронизацию метаданных, чтобы они соответствовали видео. Если есть несоответствие между временем в видео и временем в метаданных, укажите сдвиг по времени в шаблоне FMV_Multiplexer_TimeShift_Template.csv в C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Файл наблюдений сдвига по времени представляет собой файл .csv, содержащий два столбца (elapsed time и time shift), а также одну или несколько строк данных. Строка для названий столбцов не обязательна. Например, если у видеоизображения есть пятисекундное отставание от основного времени, то в файле наблюдения сдвига по времени будет только одна строка: 0:00, -5. Все видео будет сдвинуто на пять секунд. Если есть пятисекундная задержка на отметке 0:18 видео и девятисекундная задержка на отметке 2:21 видео, то в файле наблюдения сдвига по времени будет две строки: В этом случае видео смещается по-разному в начале и в конце видео. Вы можете определить любое количество интервалов временного сдвига в файле наблюдения временного сдвига. | File |
Цифровая модель рельефа (Дополнительный) | Источник высот необходим для вычисления координат углов кадра видео. Этот источник может быть слоем, сервисом изображений или средним значением высоты или глубины. Среднее значение высоты должно включать единицы измерения, например, метры или футы, или другие единицы измерения длины. Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Рекомендуется указать слой ЦМР или сервис изображений. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например 15 футов или 10 метров. Для случая под поверхностью вы можете указать, например -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Для расчета координат углов кадра среднее значение высоты всегда должно быть меньше высоты или глубины сенсора, записанных в метаданных. Например, если видео было снято на высоте сенсора 10 метров и выше, допустимая средняя высота может составлять 9 метров или меньше. Если видео было снято под водой на глубине -10 метров и глубже, допустимая средняя высота (относительно уровня моря) может быть -11 или больше. Если значение Высоты сенсора меньше среднего значения высоты, координаты четырех углов не будут вычисляться для этой записи. Если вы не знаете среднюю высоту для области проекта, используйте ЦМР. | Raster Layer; Image Service; Linear Unit |
Входная система координат (Дополнительный) | Система координат, которая будет использована для значения параметра Файл метаданных. | Coordinate System |
Доступно с лицензией Image Analyst.
Краткая информация
Создает один FMV-совместимый полнометражный видеофайл, который сочетает архивный видео файл и отдельный связанный с ним файл метаданных, синхронизированный по временным меткам. Процесс комбинации двух файлов, содержащих файлы видео и метаданных, называется мультиплексацией.
Использование
Этот инструмент предназначен для архивных видео файлов и не работает с потоковым видео в реальном времени.
Формат видео файла, который нужно мультиплексировать, должен соответствовать одному из поддерживаемых видео форматов. Отдельный файл метаданных должен быть файлом с разделителями-запятыми (CSV), JSON или GPS Exchange Format (GPX), в котором содержатся корректные заголовки полей и связанные значения.
Поддерживаемые форматы видео для этого инструмента перечислены в таблице ниже:
Описание Расширение Файл MOV
.mov MPEG-2 Transport Stream
.ts MPEG-2 Program Stream
.ps Файл MPEG
.mpg Файл MPEG-2
.mpg2 Файл MPEG-2
.mp2 Файл MPEG
.mpeg VLC (mpeg2)
.mpeg2 MPEG-4 Movie
.mp4 Файл MPEG-4
.mpg4 MPEG-Dash
.mpd Видео файл¹ H264
.h264 Видео файл¹ H265
.h265 Файл VLC Media (mpeg4)
.mpeg4 Файл VLC Media (vob)
.vob HLS (Адаптивная скорость передачи данных (ABR))
.m3u8 ¹ Требуется мультиплексирование
Инструмент создает выходной видеофайл только в формате .ts.
Метаданные, связанные с потоковым видео файлом, используются для вычисления пути пролета видео-сенсора, центра кадра изображения видео и четырех углов рамки кадра видео на карте.
FMV поддерживает спецификацию Motion Imagery Standards Board (MISB). Полная спецификация MISB определяет гораздо больше параметров, чем необходимо для FMV. Указанные параметры MISB будут закодированы в финальное видео, включая все параметры их поднабора.
Чтобы вычислить и показать соответствующие угловые точки рамки кадра видео в виде контура рамки на карте, вам нужно 12 отдельных полей в метаданных, которые указаны ниже с деталями в описании параметров. Если метаданные заполнены точно и полностью, инструмент вычислит углы рамки видео, поэтому размер, форма и расположение рамки кадра видео затем может быть показано на карте.
- Точная временная отметка
- Широта сенсора
- Долгота сенсора
- Эллипсоидальная высота сенсора или Истинная высота сенсора
- Угол направления платформы
- Угол тангажа платформы
- Угол крена платформы
- Угол относительного тангажа сенсора
- Угол относительной высоты сенсора
- Угол относительного азимута сенсора
- Горизонтальное поле зрения сенсора
- Вертикальное поле зрения сенсора
Это минимальный набор метаданных, который нужен для вычисления перехода между видео и картой, показать контур видео на карте, а также включить другие функции вроде оцифровки и пометок видео на карте.
Значения для полей метаданных могут быть введены в файл шаблона метаданных FMV_Multiplexer_Field_Mapping_Template.csv из C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo.
- Файл FMV_Multiplexer_Field_Mapping_Template.csv содержит все поля метаданных MISB.
- Для создания FMV-совместимого видео файла нужно только 12 параметров, указанных выше. Вам не нужно задавать все параметры, указанные в спецификации MISB, чтобы создать FMV-совместимый видео файл. Если заданы дополнительные параметры MISB, они будут встроены в FMV-совместимый видео файл.
Производительность полученного мультиплексированного видео будет зависеть от типа и качества данных, которые содержатся в файле метаданных, и от того, насколько точно синхронизированы файлы метаданных и видео-данные.
- Если в вашем файле FMV_Multiplexer_Field_Mapping_Template.csv содержатся только поля UNIX Time Stamp, Sensor Latitude и Sensor Longitude, то местоположение сенсора будет показано на карте, но рамки кадров видео отображаться не будут. Некоторая функциональность, например, оцифровка объектов и измерение расстояния в видео, не поддерживается.
- Если временная метка, связывающая видео и метаданные, синхронизирована не точно, то контур видео и местоположение сенсора на карте будет смещено относительно вида в видео-проигрывателе. В таком случае используйте шаблон FMV_Multiplexer_TimeShift_Template.csv в C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo для выравнивания времени видео и метаданных.
Один набор параметров в файле FMV_Multiplexer_Field_Mapping_Template.csv включает координаты карты для четырех углов кадра изображения видео, спроецированного на поверхность земли. Если указаны координаты карты для четырех углов, то они будут использоваться при создании FMV-совместимого видео. Если координат карты для четырех углов нет, укажите источник данных ЦМР в параметр Цифровая модель рельефа, после чего инструмент вычислит контур видео на основе указанных выше параметров.
Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например 15 футов или 10 метров. Для случая под поверхностью вы можете указать, например -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Рекомендуется указать слой ЦМР или сервис изображений, если он есть.
FMV поддерживает данные видео индикатора движущейся цели (VMTI) на основе методов отслеживания объектов в Motion Imagery. Если данные VMT записаны в файл, отдельный от связанного с ним видеофайла, их можно закодировать в этот видеофайл с помощью инструмента Видео-Мультиплексор. FMV соответствует стандарту MISB Video Moving Target Indicator and Track Metadata.
Закодируйте данные VMTI в видео, предоставив необходимую информацию VMTI для соответствующего видеокадра, используя файл метаданных .csv, .json или .gpx, содержащий данные для полей:
- LDSVer,TimeStamp,FrameCenterLongitude,FrameCenterLatitude,SensorLongitude,SensorLatitude,vmtilocaldataset
- 5,1546300800231000,-76.1309338,36.91118708,-76.1309338,36.91118708,1 0.9938099 1611919 1815608 1711844;1 0.39056745 1438997 1556213 1496645
Последний столбец, vmtilocaldataset, содержит ограничивающую рамку обнаруженного объекта, где каждое значение, разделенное пробелами, определяется тремя значениями: Object_ID Confidence_Level Top_Left_Pixel Bottom_Right_Pixel Center_Pixel.
Вы можете задать выявления нескольких объектов для данной метки времени, используя точку с запятой (;) в качестве разделителя, как показано в приведенном выше примере.
Используйте MISB Tag 74 в файле FMV_Multiplexer_Field_Mapping_Template.csv.
Параметры
VideoMultiplexer(in_video_file, metadata_file, out_video_file, {metadata_mapping_file}, {timeshift_file}, {elevation_layer}, {input_coordinate_system})| Имя | Описание | Тип данных |
in_video_file | Входной файл видео, который будет конвертирован в FMV-совместимый видео файл. В поддерживаются следующие типы файлов: .avi, .csv, .gpx, .h264, .h265, .json, .mp2, .mp4, .m2ts, .mpeg, .mpeg2, .mpeg4, .mpg, .mpg2, .mpg4, .ps, .ts и .vob. | File |
metadata_file | Файл .csv, .json или .gpx, содержащий метаданные видеокадров для указанного времени. Каждый столбец в файле метаданных соответствует одному полю метаданных, а один из столбцов должен содержать временную метку. Временная метка - это UNIX time Stamp (количество секунд после 1970), умноженное на миллион, хранится в целочисленном формате. Время хранится таким образом, что любой момент времени (до одной миллионной секунды), может быть задан целым числом. Соответственно, временное различие 500000 между двумя записями составляет половину секунды. В первой строке должны быть имена полей для столбцов метаданных. Эти имена полей можно сопоставить с соответствующими именами полей, используя при необходимости файл FMV_Multiplexer_Field_Mapping_Template.csv в C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Каждая последующая строка содержит значения метаданных для указанного времени в поле времени. | File |
out_video_file | Имя выходного видео файла включает расширение файла . Поддерживается только выходной видеофайл .ts. | File |
metadata_mapping_file (Дополнительный) | Файл .csv, содержащий 5 столбцов и 87 строк, основан на файле шаблона FMV_Multiplexer_Field_Mapping_Template.csv, полученного из C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Каждая строка представляет один из тегов стандартных метаданных MISB, например, высоту сенсора. Первые два столбца содержат индекс MISB и имя тега MISB. Третий столбец содержит имя поля, которое появляется в параметре in_metadata_file, если он есть. Когда третий столбец заполнен, инструмент может сопоставить ваши имена поля метаданных с соответствующими тегами метаданных FMV. Четвертый и пятый столбцы представляют единицы измерения и примечания, связанные с тегом, соответственно. | File |
timeshift_file (Дополнительный) | Файл, содержащий заданные интервалы временного сдвига. В идеале видео изображения и метаданные синхронизируются по времени. В этом случе контур изображения в FMV-видео окружает объекты, которые можно увидеть в изображении видео. Иногда есть несогласованность между временем в видео и временем в метаданных. Это приводит к явной временной задержке между тем, когда наземный объект окружен контуром изображения, и когда этот наземный объект становится видимым на видео изображении. Если этот временной сдвиг заметен и постоянен, мультиплексор может настроить синхронизацию метаданных, чтобы они соответствовали видео. Если есть несоответствие между временем в видео и временем в метаданных, укажите сдвиг по времени в шаблоне FMV_Multiplexer_TimeShift_Template.csv в C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo. Файл наблюдений сдвига по времени представляет собой файл .csv, содержащий два столбца (elapsed time и time shift), а также одну или несколько строк данных. Строка для названий столбцов не обязательна. Например, если у видеоизображения есть пятисекундное отставание от основного времени, то в файле наблюдения сдвига по времени будет только одна строка: 0:00, -5. Все видео будет сдвинуто на пять секунд. Если есть пятисекундная задержка на отметке 0:18 видео и девятисекундная задержка на отметке 2:21 видео, то в файле наблюдения сдвига по времени будет две строки: В этом случае видео смещается по-разному в начале и в конце видео. Вы можете определить любое количество интервалов временного сдвига в файле наблюдения временного сдвига. | File |
elevation_layer (Дополнительный) | Источник высот необходим для вычисления координат углов кадра видео. Этот источник может быть слоем, сервисом изображений или средним значением высоты или глубины. Среднее значение высоты должно включать единицы измерения, например, метры или футы, или другие единицы измерения длины. Точность контура видео и центра кадра зависит от точности указанного источника данных ЦМР. Рекомендуется указать слой ЦМР или сервис изображений. Если у вас нет данных ЦМР, вы можете ввести среднюю высоту и единицы измерения относительно уровня моря, например 15 футов или 10 метров. Для случая под поверхностью вы можете указать, например -15 футов или -10 метров. Использование среднего значения высоты или океанической глубины не такое точное, как использование данных ЦМР или батиметрии. Для расчета координат углов кадра среднее значение высоты всегда должно быть меньше высоты или глубины сенсора, записанных в метаданных. Например, если видео было снято на высоте сенсора 10 метров и выше, допустимая средняя высота может составлять 9 метров или меньше. Если видео было снято под водой на глубине -10 метров и глубже, допустимая средняя высота (относительно уровня моря) может быть -11 или больше. Если значение Высоты сенсора меньше среднего значения высоты, координаты четырех углов не будут вычисляться для этой записи. Если вы не знаете среднюю высоту для области проекта, используйте ЦМР. | Raster Layer; Image Service; Linear Unit |
input_coordinate_system (Дополнительный) | Система координат, которая будет использована для значения параметра metadata_file. | Coordinate System |
Пример кода
В этом примере создается видео файл, который объединяет архивированное видео и связанные метаданные.
arcpy.ia.VideoMultiplexer(r"C:\input_video.mpeg", r"C:\video_metadata.csv", r"C:\output_video.ts",
r"C:\Video_Multiplexer_MISB_Field_Mapping_Template.csv",
r"C:\Video_Multiplexer_TimeShift_Template.csv", "c:\\test\\dem.tif”)В этом примере создается видео файл, который объединяет архивированное видео и связанные метаданные.
import arcpy
from arcpy.ia import *
arcpy.CheckOutExtension("ImageAnalyst")
in_video = "c:\\test\\drone_vid.mpeg"
in_metadata = "c:\\test\\videometadata.csv"
out_video = "c:\\test\\mutiplexer_output.ts"
MISB_mapping = "c:\\test\\Field_Mapping_Template.csv"
time_shift_file = "c:\\test\\timeshift.csv"
in_elevation_layer = "c:\\test\\dem.tif"
arcpy.ia.VideoMultiplexer(in_video, in_metadata, out_video, MISB_mapping, time_shift_file, in_elevation_layer)