Full Motion Video の概要—ArcGIS AllSource

Image Analyst ライセンスで利用できます。

ArcGIS Image Analyst エクステンションに含まれる Full Motion Video (FMV) 機能には、FMV 準拠の動画の再生機能と地理空間解析機能が備わっています。 FMV 準拠とは、ビデオストリームと関連するメタデータを 1 つのビデオファイルにまとめたもので、ビデオが地理空間に対応しています。センサーシステムは、カメラの方向、プラットフォームの位置および姿勢などのデータを収集し、ビデオストリームにエンコードすることで、各ビデオフレームが地理的位置情報に関連付けられるようにします。

地理空間に対応した動画データと ArcGIS AllSource の計算機能を併用することで、センサー動力学と視野 (FOV) を認識しながら動画を表示して操作し、この情報をマップビューに表示することができます。また、ビデオビューまたはマップビューのいずれかでフィーチャデータを解析および編集し、テレストレーション機能を提供することもできます。

FMV はメタデータを使用して、画像空間解析の画像座標系が静止画を変換する方法と同様に、ビデオ画像空間とマップ空間の間で、座標をシームレスに変換します。この変換は、GIS 内のその他すべての地理空間データおよび情報を十分に考慮した状態で、ビデオデータ解釈の基礎を提供します。たとえば、動画を再生しながら、マップビュー上の動画フレームのフットプリント、フレーム中央、画像プラットフォームの位置に加え、建物とその ID などの GIS レイヤー、ジオフェンス、その他の関連情報を表示することができます。

FMV データは、収集された直後にリアルタイムまたはフォレンジック解析を行うことができます。対象位置の最新画像であることが多いため、状況認識に適しています。たとえば、自然災害後の損害評価を提供している場合、FMV を使用してドローンから収集した最新のビデオデータを既存の GIS データレイヤーとともに解析できます。ビデオフットプリントはマップ上に表示されるため、ビデオに表示される建物やインフラストラクチャを正確に把握したり、その状態を評価したり、ビデオおよびマップ内の地表フィーチャをマークしたり、その位置をブックマークしたり、メモに記したりすることができます。 FMV を使用することで、実用的な情報を迅速に評価、分析、出力でき、タイムリーな意思決定をサポートします。

FMV の詳細については、「よくあるご質問」をご参照ください。

FMV の特長とメリット

FMV は重要なメタデータを使用し、視覚的な解析処理ツールを提供するほか、プロジェクトおよびミッションクリティカルなワークフローをサポートする以下の ArcGIS AllSource 機能も提供します。

FMV は ArcGIS AllSource に完全に統合され、システムアーキテクチャ、データモデル、ツールと機能、および ArcGIS 全体にわたる共有を使用することができます。
ライブストリームビデオやアーカイブされたビデオを表示および解析します。
ビデオプレーヤーを、コンピューターディスプレイの任意の場所に移動したり、サイズを変更したり、最小化したり、閉じたりできます。
ビデオプレーヤーはマップ表示にリンクされているため、以下を実行できます。
- マップへのビデオフットプリント、センサー位置、および視野の表示。
- ビデオプレーヤーで収集された情報を、既存の GIS データとともにマップ上に投影および表示できます。
- マップを更新してビデオフレームを拡大し、ビデオに追従してマップ全体が表示できます。
複数のビデオを同時に開いて再生できます。各ビデオおよび関連情報はマップに表示される際、一意の色で識別できます。
直感的な再生コントロール、画像およびビデオクリップキャプチャ、および解析ツールを使用できます。
メタデータをリアルタイムで表示できます。
ブックマークの作成および管理。
対象位置および現象のマーク。
表示を GPU で高速化できます。

これらの機能は、空間コンテキストをビデオ解析プロセスに統合するワークフローの基礎となります。

FMV の使用

FMV は主に運用環境の意思決定サポートに使用されます。 FMV のユーザー、収集および利用方法を理解することで、FMV の機能を評価するための重要なコンテキストを得ることができます。

FMV を使用する業種

FMV は、遠隔地、人が近づきにくい場所、危険な場所の監視に使用できます。次のような組織が FMV を使用しています。

公共管理および危機管理
ディフェンス
石油会社
地方政府および連邦政府
国境監視
ユーティリティ
天然資源担当者

FMV の用途の一部は、次のとおりです。

危機管理および公共管理
- 状況認識
- 損害評価
- 応答
- 減災
- セキュリティ監視
- 資産管理
コリドーのマッピング、監視、および管理
- 電気、ガス、水道などのユーティリティ伝送およびその他の輸送
- 道路、橋、鉄道、高速道路、陸海空港などの交通
- 無線基地局やインフラストラクチャなどの通信
- 自然インフラストラクチャや人工インフラストラクチャなどの水文解析
- リーチごとの河川バッファー、生息地、多様性マッピング、リンクなどの水辺
ディフェンス
- インテリジェンス、監視、偵察
- ミッションサポート
- スパイ防止活動
インフラストラクチャの監視
- インベントリ
- 新規開発
- 計画に対する現況の確認
- コンプライアンスおよび安全管理

FMV データの収集

ArcGIS AllSource の Full Motion Video アプリケーションは、さまざまなリモートセンシングプラットフォームから収集されたデータを使用します。ビデオデータおよびメタデータは同時に収集され、メタデータはリアルタイムにセンサープラットフォーム (MISB 準拠) 上でビデオファイルにエンコードされるか、後で多重化と呼ばれる処理手順でビデオファイルにエンコードされます。

FMV データは、以下などのさまざまなセンサープラットフォームから収集されます。

ドローン (UAV、UAS、および RPV)
固定翼およびヘリコプター航空機プラットフォーム
周回軌道宇宙センサー
車載カメラ
ハンドヘルドモバイルデバイスおよびカメラ
永続的な監視のための固定デバイス

サポートされているビデオ形式 (高解像度の 4K 形式を含む) を次の表に示します。


説明	エクステンション
MOV ファイル	.mov
MPEG-2 トランスポートストリーム	.ts
MPEG-2 プログラムストリーム	.ps
MPEG ファイル	.mpg
MPEG-2 ファイル	.mpg2
MPEG-2 ファイル	.mp2
MPEG ファイル	.mpeg
VLC (MPEG2)	.mpeg2
MPEG-4 ムービー	.mp4
MPEG-4 ファイル	.mpg4
MPEG-Dash	.mpd
H264 ビデオファイル¹	.h264
H265 ビデオファイル¹	.h265
VLC メディアファイル (MPEG4)	.mpeg4
VLC メディアファイル (VOB)	.vob
HLS (アダプティブビットレート (ABR))	.m3u8
¹ 多重化が必要です。

Full Motion Video のシステム要件

ArcGIS AllSource での Full Motion Video の最小要件、推奨要件、および最適要件を以下に示します。最小要件は、単一ビデオの再生をサポートします。推奨要件は、単一ビデオの再生中に Full Motion Video ツールの使用をサポートします。最適要件は、複数の単一ビデオの再生中に Full Motion Video ツールの使用をサポートします。


アイテム	サポートおよび推奨される要件
CPU	最小 - 4 コア @ 2.6GHz、同時マルチスレッディング CPU の同時マルチスレッディング、すなわちハイパースレッディングは標準でコア当たり 2 スレッドに対応しています。マルチスレッディング搭載 2 コア CPU では 4 スレッドの並列処理が可能であり、マルチスレッディング搭載 6 コア CPU では 12 スレッドの並列処理が可能です。推奨 - 6 コア最適 - 10 コア

Full Motion Video の機能

Full Motion Video は、ライブストリーミングビデオを利用した緊急を要する状況認識および緊急時応急措置から、監視用の時間単位または日単位のアーカイブビデオの解析や、過去のアーカイブデータのフォレンジック分析まで、さまざまな運用環境をサポートしています。それぞれの用途には、直感的な視覚化および解析ツールが必要です。これらのツールにより、対象のフィーチャや状況を迅速に識別および記録し、抽出された情報を意思決定者や関係者に提示します。意思決定をサポートする Full Motion Video 機能は、以下で説明される必須機能に分類されます。

コンテキストビデオタブ

ビデオをマップに読み込んで、[コンテンツ] ウィンドウでそのビデオを選択すると、[スタンドアロンビデオ] コンテキストタブと [プレーヤー] コンテキストタブが表示されます。

スタンドアロンビデオタブ

ビデオがディスプレイに読み込まれると、ビデオファイルが [コンテンツ] ウィンドウに表示され、[スタンドアロンビデオ] タブが有効になります。 [スタンドアロンビデオ] タブのツールを使用すると、ビデオデータを管理できます。このタブは、[開く]、[ブックマーク]、[保存]、[管理] のグループに分かれています。

[スタンドアロンビデオ] タブに表示されるツールについては、「スタンドアロンビデオタブ」をご参照ください。

プレーヤータブ

[プレーヤー] タブは、[コンテンツ] ウィンドウでビデオを選択すると有効になります。

[プレーヤー] タブには、ビデオの操作、グラフィックスの追加と管理、およびビデオメタデータの表示を行うツールが含まれています。これらのツールは、プレーヤーでも利用できます。

ツールの操作には、関連付けられたマップビューの拡大による地表でのフルビデオフレームの表示、地表でのセンサー地表トラックおよびビデオフレームの視野の表示、マップの拡大および移動による地表でのビデオの追従などがあります。これらのツールを使用すると、ビデオデータの操作時に地理的状況を把握できます。

ビデオプレーヤー

ビデオプレーヤーには、再生、早送り、巻き戻し、早送り、次のステップへ進む、前のステップに戻る、先頭へのジャンプ、またはビデオの最後へのジャンプなど、標準的なビデオコントロールが含まれています。ビデオが再生モードまたは一時停止モードの間、ビデオの拡大およびローミングを行うことができます。ビデオプレーヤーは、グローバルシーンとローカルシーンを操作します。 [シーンカメラの方向付け] 機能は、シーンビューカメラの向きをビデオセンサーの視点方向に設定します。

その他のツールには、ビデオブックマークのキャプチャ、アノテーション、保存のほか、単一ビデオフレームの画像としてのキャプチャ、ビデオクリップのエクスポートなどがあります。

ブックマーク

ビデオブックマークの作成は、ビデオを解析する際に対象の現象やフィーチャを記録するための重要な機能です。ビデオブックマークは、再生、一時停止、早送り、巻き戻しなど、ビデオ再生のさまざまなモードで収集できます。ブックマークは、ビデオブックマークの収集時に開く [ブックマーク] ウィンドウに記述できます。ブックマークは、ArcGIS AllSource の [マップ] タブの [ナビゲーション] グループにある [ブックマーク] ウィンドウで収集および管理されます。

メタデータのビデオへの追加

必須のメタデータを含むビデオのみを FMV で使用できます。プロ仕様の空中ビデオデータ収集システムは、一般的に必要なメタデータを収集し、リアルタイムでビデオファイルにエンコードします。このデータは、ライブストリーミングモードまたはアーカイブされたファイルから Full Motion Video アプリケーションに直接入力できます。

消費者向けのビデオコレクションシステムでは、1 つの FMV 準拠ビデオファイルに結合する必要がある、個別のビデオデータとメタデータファイルが生成されることがよくあります。この処理はソフトウェアで実行され、多重化と呼ばれます。 Full Motion Video は、適切なメタデータをビデオファイルの適切な位置にエンコードして、1 つの FMV 準拠ビデオファイルを生成する [ビデオマルチプレクサー (Video Multiplexer)] ツールを含んでいます。各ビデオおよびメタデータファイルは、タイムスタンプを使用して、ビデオファイル内の適切な位置に適切なメタデータエンコードを同期します。

メタデータは、X、Y、Z 位置を示す GPS、高度計、慣性測定ユニット (IMU)、カメラの方向を示す他のデータソースなどの適切なセンサーから生成されます。メタデータファイルは、カンマ区切り値 (CSV) 形式である必要があります。

FMV メタデータを使用して、ビデオセンサーのフライトパス、ビデオ画像フレームセンター、およびビデオ画像フレームの地表のフットプリントが計算されます。 FMV は Motion Imagery Standards Board (MISB) メタデータ仕様にも対応しています。指定したすべての MISB パラメーターが、最終的な FMV 準拠ビデオにエンコードされます。

Full Motion Video パラメーターセットの中には、地表に投影されたビデオ画像フレームの四隅のマップ座標を含むものがあります。四隅のマップ座標を指定した場合、この値が使用されます。指定されていない場合、アプリケーションは必須パラメーターのサブセットからビデオフットプリントを計算します。

ビデオフレームフットプリントの相対的なコーナーポイントを計算して、マップ上にフレームアウトラインとして表示するには、次に示す 12 個のメタデータフィールドが必要です。

Precision Timestamp
Sensor Latitude
Sensor Longitude
Sensor Ellipsoid Height、または Sensor True Altitude
Platform Heading Angle
Platform Pitch Angle
Platform Roll Angle
Sensor Relative Roll Angle
Sensor Relative Elevation Angle
Sensor Relative Azimuth Angle
Sensor Horizontal Field of View
Sensor Vertical Field of View

メタデータの完全性と正確性が確保されている場合は、このアプリケーションでビデオフレームのコーナーが算出され、マップ上に表示できるビデオフレームアウトラインのサイズ、形状、および位置が求められます。これら 12 のフィールドは、ビデオとマップ間の変換の算出、マップ上でのビデオフットプリントの表示、その他の機能 (ビデオとマップのデジタイズやマーキングなど) の有効化を実行するのに最低限必要なメタデータで構成されます。

Full Motion Video は、モーションイメージのオブジェクトトラッキング方法に基づいて VMTI (Video Moving Target Indicator) データをサポートしています。 VMTI データは、関連するビデオファイルとは別のファイルに記録されている場合、[ビデオマルチプレクサー (Video Multiplexer)] ツールを使用してビデオファイルにエンコードできます。

生成される多重化ビデオファイルのパフォーマンスは、メタデータファイルに含まれるデータの種類と品質、およびビデオデータとメタデータファイルの同期の精度によって異なります。メタデータが正確でないか異常値が含まれている場合、これらの差異はビデオにエンコードされ、ビデオが再生されるときにマップに表示されます。 metadata.csv ファイルに UNIX Time Stamp、Sensor Latitude、および Sensor Longitude フィールドのみが含まれている場合、センサーの位置がマップ上に表示されますが、ビデオフレームフットプリントは表示されません。また、ビデオ内のフィーチャのデジタイズや距離の測定などの機能もサポートされません。

メタデータは、C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo フォルダー内の FMV_Multiplexer_Field_Mapping_Template.csv メタデータテンプレートに入力できます。このテンプレートには、ビデオフレームフットプリントの計算に必要な 12 個の必須メタデータフィールドと、MISB 仕様に含まれる追加のフィールドが含まれています。メタデータフィールド名がメタデータテンプレートに必要なフィールドと一致しない場合は、FMV_Multiplexer_Field_Mapping_Template.csv テンプレートのメタデータテンプレートフィールド名と照合することができます。

ビデオデータとメタデータは時刻同期していることが理想です。ビデオとメタデータをリンクするタイムスタンプが正確に同期されていない場合、マップ上のビデオフットプリントとセンサーの位置は、ビデオプレイヤーのビューからオフセットされます。時間シフトが観測可能で一貫性がある場合、マルチプレクサーではメタデータのタイミングがビデオと合致するよう調整することができます。時間シフトは、オプションの .csv ファイルを作成し、ビデオ内のオフセット位置と関連する時間の不一致を識別する [ビデオマルチプレクサー (Video Multiplexer)] ツールに入力することで適用されます。 C:\Program Files\ArcGIS\Pro\Resources\FullMotionVideo フォルダー内の FMV_Multiplexer_TimeShift_Template.csv テンプレートを使用してオフセットを調整します。テンプレートには、時間シフトが発生するビデオ内の位置を示す elapsed time 列、および時間オフセット量を示す time shift 列が含まれています。ビデオとメタデータの間の時間シフトに一貫性がない場合、ビデオ内の複数の位置を、テンプレート内の関連するタイムシフトとともに表示できます。これにより、マルチプレクサーがビデオのタイミングに対して適切なメタデータを配置する位置を指示できます。

オブジェクトトラッキング

Full Motion Video は VMTI (Video Moving Target Indicator) とディープラーニングベーストラッキングの 2 つのオブジェクトトラッキング方法をサポートしています。 VMTI 方法では、オブジェクトを手動または自動でトラッキングし、特定のビデオフレーム内におけるオブジェクトの位置をエンコードします。オブジェクトごとに識別子 (ID) と境界四角形が、アーカイブビデオで保存されるオブジェクトに関連付けられます。ビデオが再生されると、VMTI オブジェクトに関連付けられた情報が表示されます。 Full Motion Video では、エンコードされたビデオメタデータが「Motion Imagery Standards Board (MISB) Video Moving Target Indicator and Track Metadata」規格 (ST 0903) に準拠している必要があります。

ディープラーニングベースオブジェクトトラッキング機能では、ビデオ画像内のオブジェクトを識別してトラッキングするときのさまざまな状況に対処できるように、自動化されたコンピューター支援ツールが提供されます。この機能は、ディープラーニングテクノロジを利用して、オブジェクトの検出、抽出、およびマッチングを支援します。特定のオブジェクトおよびフィーチャのクラスを識別するディープラーニングモデルを構築し、一連のツールを使用して、それらの対象オブジェクトを識別、選択、トラッキングします。オブジェクトの識別用四角形の重心をデジタイズして、プロジェクトのジオデータベースにポイントクラスとして保存できます。その後、アーカイブビデオの再生時に、これらのオブジェクトを表示できます。

注意:

ディープラーニングベースのオブジェクトトラッキングを実行するには、ディープラーニングフレームワークパッケージをインストールする必要があります。詳細については、システム要件をご参照ください。

サマリー

Full Motion Video の地理空間対応特性は、リアルタイムまたはフォレンジック分析および状況認識アプリケーションに最適です。マップ上にビデオフレームフットプリントおよびフライトパスを投影および表示する機能により、ビデオに重要なコンテキストを与え、ビデオプレーヤーとマップで双方向なフィーチャコレクションを実現できます。

これらの機能とアノテーション付きのビデオブックマークを使用すると、アナリストは今後の分析に役立つビデオフレームまたはセグメントを特定し、この情報を他の関係者と共有することができます。 FMV 準拠ビデオとフル GIS 機能を統合することにより、重要なコンテキスト情報を合成して、運用環境での情報に基づく意思決定をサポートすることができます。

このトピックへのフィードバック