Verfolgen von Objekten in bewegten Bilddaten

Mit der Image Analyst-Lizenz verfügbar.

Eine Funktion von bewegten Bilddaten ist die Verfolgung bestimmter Objekte in Videodaten während der Wiedergabe. Dabei kann es sich um stationäre oder bewegte Objekte handeln, die möglicherweise verdeckt und dann wieder sichtbar werden oder ihre Form ändern (beispielsweise eine Person, die in ein Fahrzeug steigt). Die Objektverfolgungsfunktion in Full Motion Video (FMV) stellt automatisierte und computergestützte Werkzeuge für die verschiedensten Situationen beim Verfolgen von Objekten in Videobilddaten bereit. Objektverfolgung, Feature-Extraktion und Abgleich werden durch Deep-Learning-Technologie unterstützt. Sie können ein auf Deep Learning basierendes Objektverfolgungsmodell erstellen und die Palette an Werkzeugen zum Auswählen und Verfolgen eines relevanten Objekts verwenden. Die Schwerpunkte, die den Identifizierungsrechtecken des Objekts entsprechen, können digitalisiert und als Punktklasse in der Geodatabase des Projekts gespeichert werden. Die gespeicherten Punkte können dann bei der Wiedergabe des archivierten Videos angezeigt werden.

Anforderungen

Die Objektverfolgungsfunktion in FMV ist in ArcGIS AllSource mit der ArcGIS Image Analyst-Erweiterung verfügbar.

Hinweis:

Stellen Sie sicher, dass die Treiber der Videokarte aktuell sind.

Deep-Learning-Modell

Zum Verfolgen von Objekten in einem Video ist mindestens ein trainiertes Deep-Learning-Modell erforderlich. Die Effektivität der Verfolgung hängt von der Qualität der für das Deep-Learning-Training verwendeten Trainingsgebiete ab sowie davon, wie eng das relevante Objekt mit den Trainingsdaten verknüpft ist. Wenn Sie zum Beispiel einen auf einer Autobahn fahrenden LKW verfolgen möchten, benötigen Sie beschriftete Trainingsgebiete mit LKWs aus verschiedenen Winkeln. Als Quelle der Trainingsgebiete (Bilder mit Annotationen) müssen bewegte Bilddaten verwendet werden. Die beschrifteten Trainingsgebiete werden genutzt, um das Deep-Learning-Modell für das Verfolgen von Objekten, in diesem Fall beispielsweise LKWs, zu trainieren. Das Modell kann nur in begrenztem Umfang Objekte mit unterschiedlichem Aussehen wie beispielsweise Autos verfolgen, während es größere Wohnmobile oder Busse erfolgreich verfolgen kann.

Sie müssen Pakete für das Deep-Learning-Framework installieren, um Deep-Learning-Workflows in ArcGIS AllSource auszuführen. Mithilfe einer Reihe von Werkzeugen können Sie Trainingsdaten für Video und unbewegte Bilder vorbereiten, Objekte beschriften, Deep-Learning-Modelle und Inferenz erstellen und die Ergebnisse überprüfen. Weitere Informationen zur Installation der Pakete finden Sie unter Installieren von Deep-Learning-Frameworks für ArcGIS.

Da Deep Learning rechenintensiv ist, wird eine leistungsstarke GPU mit Unterstützung für CUDA-Compute Capability, Version 6.0 oder höher, empfohlen.

Details zu Deep Learning und Deep-Learning-Workflows finden Sie unter Einführung in Deep Learning und Deep Learning in ArcGIS Pro. Weitere Informationen zur Palette der Deep-Learning-Werkzeuge in ArcGIS finden Sie unter Überblick über das Toolset "Deep Learning".

Registerkarte "Objektverfolgung"

Die Registerkarte Objektverfolgung ist kontextbezogen. Sie wird aktiviert, wenn Sie im Bereich Inhalt ein Video auswählen.

Hinweis:

Die Registerkarte Objektverfolgung ist verfügbar, wenn die Deep-Learning-Pakete in ArcGIS AllSource installiert und aktiviert sind.

In den folgenden Abschnitten werden die Werkzeuge in den verschiedenen Gruppen auf der Registerkarte Objektverfolgung beschrieben.

Gruppe "Verfolgte Objekte"

Mithilfe der Werkzeuge in der Gruppe Verfolgte Objekte können Sie die Objektverfolgung in Videodaten identifizieren und verwalten:

• Verfolgung aktivieren: Aktivieren Sie die Objektverfolgung mit der angegebenen Objekt-Tracker-Konfiguration.
• Objekt hinzufügen: Fügen Sie ein Objekt hinzu, um eine Objektverfolgung auszuführen, indem Sie auf ein Objekt klicken oder interaktiv ein Rechteck um das Objekt zeichnen. Doppelklicken Sie, um den Persistenzmodus zu aktivieren.
• Objekt verschieben: Klicken Sie auf das Verfolgungsrechteck eines vorhandenen Objekts, um dieses auszuwählen, und zeichnen Sie das Rechteck neu um die aktualisierte Position des Objekts. Doppelklicken Sie, um den Persistenzmodus zu aktivieren.
• Objekt entfernen: Entfernen Sie verfolgte Objekte aus dem Videoplayer, indem Sie auf einen Rahmen um ein Objekt klicken oder einen Rahmen um ein Objekt zeichnen. Doppelklicken Sie, um den Persistenzmodus zu aktivieren.
• Objekte löschen: Entfernen Sie verfolgte Objekte aus dem Videoplayer und dem Manager "Verfolgte Objekte", indem Sie auf die Objekte klicken oder einen Rahmen um die Objekte zeichnen. Doppelklicken Sie, um den Persistenzmodus zu aktivieren.
• Objekt(e) in Features: Speichern Sie die Schwerpunkte der Objekterkennungsrechtecke als neue Feature-Class.

Gruppe "Speichern"

Verwenden Sie das Werkzeug Objekte in Features in der Gruppe Speichern, um die Schwerpunkte verfolgter Objekte in einer Geodatabase zu speichern.

Gruppe "Verwalten"

Mithilfe der Werkzeuge in der Gruppe Verwalten können Sie den Objekt-Tracker verwalten.

• Tracker konfigurieren: Konfigurieren Sie den Objekt-Tracker, und wenden Sie Aktualisierungen auf Standardmodelle für den Objekt-Tracker an.
• Verfolgte Objekte: Zeigen Sie den Bereich des Manager "Verfolgte Objekte" an.

Bereich "Objekt-Tracker konfigurieren"

Klicken Sie auf die Schaltfläche Tracker konfigurieren, um den Bereich Objekt-Tracker konfigurieren zu öffnen. Der Bereich enthält die Einstellungen Objektverfolgungsmodell und Modell zur automatischen Erkennung.

Einstellungen

Mit dem Parameter Objektverfolgungsmodell können Sie das Deep-Learning-Modell auswählen und weitere Parameter für die Verfolgung von Objekten festlegen.

Klicken Sie auf die Schaltfläche "Durchsuchen" , um das Dialogfeld Deep-Learning-Modell aus Pfad hinzufügen zu öffnen. Geben Sie den Pfad der Paketdatei des Deep-Learning-Modells (.dlpk) an, indem Sie eine URL eingeben oder zu der Datei in einem lokalen Verzeichnis wechseln. Im Textfeld Modell können Sie einen Alias für den Namen des Modells zuweisen. Klicken Sie auf Hinzufügen, um das Modell zu laden und das Dialogfeld zu schließen. Der Modellname wird in der Dropdown-Liste Modell angezeigt und kann dort ausgewählt werden.

Die Einstellungen enthalten Optionen zum Steuern der Objektverfolgung, darunter Minimale Objektgröße (Pixel), Verlorene Tracks ermitteln, Verlorene Tracks wiederherstellen und Modell zur automatischen Erkennung.

• Verlorene Tracks ermitteln: Geben Sie an, ob das Objekt basierend auf geändertem Aussehen wie beispielsweise geändertem Sichtwinkel, Verdeckung oder Bewegung erfolgreich verfolgt wird. Diese Option ist standardmäßig aktiviert.
  • Intervall (Videobilder): Legen Sie das Intervall (die Anzahl der Videobilder) fest, in dem die Anwendung überprüft, ob sich das Aussehen des Objekts geändert hat. Die Standardeinstellung ist 5.
• Verlorene Tracks wiederherstellen: Geben Sie an, ob versucht wird, ein Objekt nach Abbruch der Verfolgung zu suchen. Diese Option ist standardmäßig aktiviert.
  • Konfidenzschwellenwert (0–1): Legen Sie das Mindestverhältnis zwischen zugeordneten Quell-Bild-Features und gesuchten Objekt-Features für die erfolgreiche Wiederherstellung fest. Der Konfidenzschwellenwert ist eine Zahl zwischen 0 und 1. Der Standardwert ist 0,1.
  • Schwellenwert für Überlappung (0–1): Legen Sie das Verhältnis des minimalen Überlappungsschwellenwertes zwischen dem erkannten Objekt und dem gesuchten Objekt für eine erfolgreiche Wiederherstellung fest. Der Schwellenwert ist eine Zahl zwischen 0 und 1. Der Standardwert ist 0,1.
  • Max. Suchintervall: Legen Sie das in Einheiten von Videobildern definierte maximale Suchintervall bei verlorenen Objekten fest. Der Standardwert ist 60.
  • Größe der Statuswarteschlange: Die Anzahl der Bilder, während der ein Objektstatus aufrechterhalten wird, wenn das Objekt verloren gegangen ist.
• Modell zur automatischen Erkennung: Geben Sie an, ob die Erkennung und Identifizierung von Zielobjekten automatisch mithilfe eines auf Deep Learning basierenden Erkennungsmodells durchgeführt wird. Diese Option ist standardmäßig deaktiviert. Geben Sie den Pfad der Paketdatei des Deep-Learning-Modells an, indem Sie mithilfe der Schaltfläche "Durchsuchen" zu der Datei in einem lokalen Verzeichnis wechseln und die .dlpk-Datei auswählen oder eine URL eingeben.
  • Intervall (Videobilder): Legen Sie das Intervall (die Anzahl der Videobilder) fest, in dem überprüft wird, ob sich das Aussehen des Objekts geändert hat. Der Standardwert beträgt 5 Videobilder.
  • Konfidenzschwellenwert (0–1): Legen Sie das Mindestverhältnis zwischen zugeordneten Quell-Bild-Features und gesuchten Objekt-Features für die erfolgreiche Wiederherstellung fest. Der Konfidenzschwellenwert ist eine Zahl zwischen 0 und 1. Der Standardwert ist 0,1.

Manager "Verfolgte Objekte" - Bereich

Auf der Registerkarte Verfolgte Objekte können Sie verfolgte Objekte anzeigen und verwalten. In der Tabelle werden für jedes verfolgte Objekt die unten beschriebenen Werte Status, ID und Quelle aufgeführt.

• Status: Der Status jedes verfolgten Objekts: aktiv verfolgt, verloren oder Gegenstand einer Suche.
• ID: Die eindeutige Kennung für jedes verfolgte Objekt.
• Quelle: Die Quellvideodatei, in der das Objekt identifiziert wird.

Der Bereich des Manager "Verfolgte Objekte" interagiert mit dem Menüband Verfolgte Objekte, wenn die Option Verfolgung aktivieren aktiv ist.

• Verfolgung aktivieren: Aktivieren Sie die Objektverfolgung mit der angegebenen Objekt-Tracker-Konfiguration.
• Objekt hinzufügen: Fügen Sie ein Objekt hinzu, um eine Objektverfolgung auszuführen, indem Sie auf ein Objekt klicken oder interaktiv ein Rechteck um das Objekt zeichnen. Doppelklicken Sie, um den Persistenzmodus zu aktivieren.
• Objekt verschieben: Verschieben Sie ein vorhandenes Objekt, indem Sie auf sein Verfolgungsrechteck klicken, um es auszuwählen, und das Rechteck neu um die aktualisierte Position des Objekts zeichnen. Doppelklicken Sie, um den Persistenzmodus zu aktivieren.
• Objekt entfernen: Entfernen Sie verfolgte Objekte aus dem Videoplayer, indem Sie auf die Objekte klicken oder einen Rahmen um die Objekte zeichnen. Doppelklicken Sie, um den Persistenzmodus zu aktivieren.
• Objekte löschen: Entfernen Sie verfolgte Objekte aus dem Videoplayer und dem Bereich des Manager "Verfolgte Objekte", indem Sie auf die Objekte klicken oder einen Rahmen um die Objekte zeichnen. Doppelklicken Sie, um den Persistenzmodus zu aktivieren.

Verfolgen von Objekten

Führen Sie zum Verfolgen von Objekten die folgenden Schritte aus:

1. Laden Sie ein Deep-Learning-Modell, und legen Sie im Bereich Objektverfolgungsanzeige im Bereich Tracker konfigurieren die Verfolgungsparameter fest.
2. Klicken Sie auf Verfolgung aktivieren, um die Objektverfolgungswerkzeuge zu aktivieren.
3. Klicken Sie auf Objekt hinzufügen, um ein Rechteck um das Objekt zu zeichnen, oder klicken Sie auf das Objekt, das Sie im Videoplayer verfolgen möchten.

   Dieser Schritt ist im Modus "Automatisch erkennen" nicht erforderlich.

   Das Objekt wird in jedem Videobild verfolgt.

4. Zeigen Sie im Bereich des Manager "Verfolgte Objekte" den Status der verfolgten Objekte an.
5. Wenn das Objekt verdeckt wird und die Verfolgung abbricht, klicken Sie auf Objekt verschieben, und zeichnen Sie ein neues Rechteck um die aktualisierte Position, um die Verfolgung wieder aufzunehmen.

   Dieser Schritt ist im Modus "Automatisch erkennen" nicht erforderlich.

6. Klicken Sie optional auf Hinzufügen, um ein zu verfolgendes Objekt hinzuzufügen.

   Dieser Schritt ist im Modus "Automatisch erkennen" nicht erforderlich.

7. Klicken Sie optional auf Entfernen, um ein Objekt nicht mehr aktiv zu verfolgen.

   Dieser Schritt ist im Modus "Automatisch erkennen" nicht erforderlich.

8. Klicken Sie auf der Registerkarte Verfolgung in der Gruppe Speichern auf Objekt(e) in Features, und geben Sie das Ausgabeverzeichnis und den Präfixnamen an, um die Objektschwerpunkte in einer Feature-Class zu speichern.

   Geben Sie optional an, ob die Feature-Class der Karte hinzugefügt werden soll und in welchem Häufigkeitsintervall (in Sekunden) die Schwerpunkte gespeichert werden sollen.