动态影像中的对象追踪

获得 Image Analyst 许可后可用。

动态影像的一项功能是在播放视频数据期间追踪其中的特定对象。 这些对象可处于静态或移动状态，可能被遮挡并重新出现，或者改变形状（例如一个人进入车辆）。 全动态视频中的对象追踪功能将提供自动化和计算机辅助的工具，用于处理在视频影像中追踪对象时的各种情况。 它依靠深度学习和计算机视觉技术以帮助进行对象追踪、要素提取和匹配。 您可以构建深度学习对象追踪模型，并使用一系列工具以选择并追踪感兴趣对象。 可以数字化与对象识别矩形对应的质心，并将其另存为工程地理数据库中的点类。 随后，当播放存档视频时将显示这些保存的点。

要求

FMV 中的对象追踪功能可以在 ArcGIS AllSource 中与 ArcGIS Image Analyst 扩展模块配合使用。

注：

确保您的显卡驱动程序是最新的。

深度学习模型

在视频中追踪对象需要一个或多个经过训练的深度学习模型。 追踪的效率取决于深度学习训练样本数据的质量，以及感兴趣对象与训练数据的关联程度。 例如，要追踪一辆沿公路行驶的卡车，您必须从多个角度来标注卡车的训练样本。 训练样本的源（注记图像）必须为动态影像。 已标注的训练样本可用于训练深度学习模型以追踪对象，在本例中为卡车。 对于具有不同外观的对象（例如车辆），模型的追踪能力有限，但可能会成功地追踪较大型的休闲车辆或公共汽车。

必须安装深度学习框架包，才能在 ArcGIS AllSource 中执行深度学习工作流。 可以使用各种工具来准备视频和静态影像训练数据，标注对象，创建深度学习模型，进行推断，然后查看结果。 有关如何安装这些包的信息，请参阅安装 ArcGIS 的深度学习框架。

深度学习的运算量非常大，建议使用具有 CUDA 计算能力支持的 6.0 版本或更高版本的强大 GPU。

有关深度学习和深度学习工作流的详细信息，请参阅深度学习简介和 ArcGIS Pro 中的深度学习。 有关 ArcGIS 中深度学习工具套件的详细信息，请参阅深度学习工具集概览。

“追踪”选项卡

当您在内容窗格中选择视频时，追踪上下文选项卡将启用。

注：

在 ArcGIS AllSource 中安装并启用深度学习包后，即可使用追踪选项卡。

借助对象追踪组中的工具，您可以识别并管理视频数据中的对象追踪：

• 追踪窗格 - 打开对象追踪显示窗格，您可在其中指定对象追踪深度学习模型并配置参数设置。
• 启用 - 激活交互式对象追踪工具。
• 添加对象 - 通过在对象周围以交互方式绘制一个矩形来添加对象以执行对象追踪。
• 重新定位对象 - 单击现有对象的追踪矩形以将其选中，然后在对象的已更新位置周围重新绘制该矩形。
• 移除对象 - 单击现有对象的追踪矩形以将其从主动追踪中移除。
• 对象至要素 - 将对象检测矩形的质心另存为新要素类。

追踪窗格

单击追踪窗格按钮以打开对象追踪显示窗格。 该窗格包含设置和已追踪对象选项卡。

设置

在设置选项卡中，可以选择深度学习模型并设置追踪对象的参数。

单击使用本地路径或 URL 添加对象追踪模型按钮 以打开从路径添加深度学习模型对话框。 通过提供 URL 或浏览至本地目录中的文件，可以指定深度学习模型包文件 (.dlpk) 的路径。 可以在模型文本框中为模型名称分配别名。 单击添加以加载模型并关闭该对话框。 模型名称将显示在模型下拉列表中，可从中进行选择。

设置选项卡包含帮助控制对象追踪的选项：检测追踪故障、恢复追踪和自动检测器。

• 检测追踪故障 - 指定是否基于外观变化成功追踪对象。 默认选中该选项。
  • 间隔（帧）- 应用程序检查对象外观变化的间隔，以帧数为单位。 默认值为 5 帧。
  • 最小对象大小（像素）- 如果对象小于该指定大小，则对象追踪将停止。 默认值为 10 像素。
  • 最大搜索间隔—当对象丢失时，以视频帧为单位定义的最大搜索间隔。 默认值为 60。
  • 状态队列大小—当对象在搜索间隔过期前丢失时，对象状态保持的帧数。
• 恢复追踪 - 指定在追踪丢失后，是否尝试寻找对象。 默认选中该选项。
  • 置信度阈值 (0-1) - 成功恢复后，匹配的源图像要素与搜索的对象要素之间的最小比率。 置信度阈值是介于 0 到 1 之间的数值。 默认值为 0.1。
  • 最小重叠阈值 (0-1) - 成功恢复后，检测到的对象与搜索的对象之间的最小重叠比。 该阈值是介于 0 到 1 之间的数值。 默认值为 0.1。
• 自动检测器—指定是否使用基于深度学习的检测器模型自动执行目标对象的检测和识别。 默认情况下取消选中该项。 通过提供 URL 或浏览至本地目录中的文件，可以指定深度学习模型包文件 .dlpk 的路径。

  通过提供 URL 或浏览至本地目录中的文件，可以指定深度学习模型文件 (.emd) 的路径。

  • 自动检测器频率—连续检测器运行之间的间隔，用于重新识别和重新对齐场景中的目标对象。 值越低，精度越高，但性能越低。 默认值为 1。
  • 最小置信度阈值—用于过滤检测的最小置信值。 该阈值是介于 0 到 1 之间的数值。 默认值为 0.4。

追踪的对象

可以在追踪的对象选项卡中查看并管理追踪的对象。 将在表中列出每个追踪对象的 ID、源和状态值。

• ID - 每个追踪对象的唯一标识符。
• 源 - 在其中识别对象的源视频文件。
• 状态 - 每个追踪对象的状态：主动追踪、丢失或搜索中。

追踪的对象选项卡还包含以下 5 个用于管理追踪对象的操作按钮：

• 添加 - 通过在每个感兴趣对象周围绘制矩形来添加一个或多个要追踪的对象。
• 重新定位 - 单击现有对象的追踪矩形以将其选中，然后在对象的已更新位置周围重新定位该矩形。
• 移除 - 单击现有对象的追踪矩形以将其从主动追踪中移除。
• 重新关联 - 通过重绘对象的已更新位置，重新关联具有丢失状态的已列出对象。
• 删除 - 从追踪的对象列表中删除所选对象。

对象追踪工作流

对象追踪工作流的概要如下所示：

• 在对象追踪显示窗格的设置选项卡上加载深度学习模型并设置追踪参数。
• 单击启用以激活对象追踪工具。
• 单击添加对象以围绕要在视频播放器中追踪的对象绘制一个矩形。 将在每个视频帧中追踪该对象。

  注：

  在自动探测器模式下无需执行此步骤。

• 在追踪的对象选项卡中，查看追踪对象的状态。
• 如果对象被遮挡且追踪丢失，请单击重新关联，并在对象的已更新位置周围重绘一个矩形，以重新进行追踪。

  注：

  在自动探测器模式下无需执行此步骤。

• 如果追踪矩形未与正在追踪的对象对齐，请单击重新定位，选择其追踪矩形，然后将其重新定位到对象周围。

  注：

  在自动探测器模式下无需执行此步骤。

• 或者，单击添加以添加要追踪的对象。

  注：

  在自动探测器模式下无需执行此步骤。

• 或者，单击移除以将对象从主动追踪中移除。

  注：

  在自动探测器模式下无需执行此步骤。

• 在追踪选项卡的对象追踪组中，单击对象至要素，并指定用于将对象质心存储到要素类的输出位置和前缀名称。 或者，指定是否将要素类添加至地图，并指定将保存质心的频率间隔，以秒为单位。