In diesem Dokument wird die Verwendung des vortrainierten Modells Text SAM erläutert, das im ArcGIS Living Atlas of the World verfügbar ist. Hiermit lassen sich Objekte in einem Bild mithilfe einer Eingabeaufforderung erkennen.
Text SAM ist ein Open-Source-Beispielmodell, das mithilfe von frei formulierten Textbefehlen zur Extraktion verschiedener Arten von Features aufgefordert werden kann. Dazu werden Grounding DINO und Segment Anything Model (SAM) verwendet. Grounding DINO ist ein offener Objektdetektor, der Objekte anhand von Textaufforderungen erkennen kann. Mit dem Segment Anything Model lassen sich in einer durch ein umgebendes Rechteck oder einen Punkt dargestellten Interessenregion beliebige Objekte segmentieren. Die beiden Modelle in diesem Deep-Learning-Paket werden nacheinander aufgerufen. Die umgebenden Rechtecke, die die mit Grounding DINO erkannten Objekte darstellen, werden als Aufforderung in das Segment Anything Model geladen, woraufhin Masken für die Objekte generiert werden. Die Masken werden daraufhin in Polygone konvertiert und als GIS-Features zurückgegeben. Die durch die Textaufforderungen beschriebenen Feature können beliebige Objekte sein, z. B. Fahrzeuge, Schwimmbäder, Schiffe, Flugzeuge oder Solarmodule.
Für diesen Workflow gelten die folgenden Lizenzanforderungen:
- ArcGIS Desktop: ArcGIS Image Analyst-Erweiterung für ArcGIS Pro
- ArcGIS Enterprise: ArcGIS Image Server
- ArcGIS Online: ArcGIS Image for ArcGIS Online
Modelldetails
Dieses Modell hat die folgenden Merkmale:
- Eingabe: Bilddaten (3-Band-RGB)
- Ausgabe: Feature-Class, die Masken verschiedener Objekte im Bild enthält
- Berechnung: Dieser Workflow ist rechenintensiv. Empfohlen wird eine GPU mit mindestens CUDA Compute Capability Version 6.0. Dieses Modell erfordert eine GPU mit mindestens 8 GB GPU-Speicher.
- Eignung für Geographien: Das Modell eignet sich weltweit.
- Architektur: Das Modell basiert auf dem Open-Source-Modell Grounding DINO von IDEA-Research (The International Digital Economy Academy) und dem Segment Anything Model (SAM) von Meta. Weitere Informationen finden Sie im Quellcode des Deep-Learning-Beispielpakets.
Zugreifen auf das Modell und Herunterladen des Modells
Das vortrainierte Modell Text SAM steht im ArcGIS Living Atlas of the World zum Download bereit. Alternativ können Sie direkt über ArcGIS Pro auf das Modell zugreifen oder es in ArcGIS Image for ArcGIS Online verwenden.
- Navigieren Sie zu ArcGIS Living Atlas of the World.
- Melden Sie sich mit Ihren ArcGIS Online-Anmeldedaten an.
- Suchen Sie nach Text SAM, und öffnen Sie in den Suchergebnissen die entsprechende Elementseite.
- Klicken Sie auf die Schaltfläche Herunterladen, um das Modell herunterzuladen.
Sie können die heruntergeladene .dlpk-Datei direkt in ArcGIS Pro verwenden oder sie in ArcGIS Enterprise hochladen und dort verwenden. Außerdem können Sie das vortrainierte Modell bei Bedarf optimieren.
Versionshinweise
Es folgen die Versionshinweise:
| Datum | Beschreibung |
|---|---|
| März 2024 |
Erste Version von "Text SAM" |