Vorbereiten von intelligenten Assistenten

Für die Vorbereitung von intelligenten Assistenten für die mobile Survey123-App benötigen Sie ein Objekterkennungs- oder Bildklassifizierungsmodell. Sie können die von intelligenten Assistenten verwendeten Modelle erstellen, Modelle aus dem ArcGIS Living Atlas of the World herunterladen oder über integrierte APIs auf Modelle zugreifen. Weitere Informationen finden Sie im Thema Intelligente Assistenten.

Hinzufügen von intelligenten Attributen zu einem Survey

In den folgenden Abschnitten wird beschrieben, wie einem Survey intelligente Attribute hinzugefügt werden.

Hinzufügen eines Modells

Führen Sie die folgenden Schritte aus, um einem Survey ein Modell hinzuzufügen:

1. Erstellen Sie einen Survey in Survey123 Connect.
2. Fügen Sie eine Bildfrage hinzu.
3. Kopieren Sie die Modelldateien (<model_name>.tflite und <model_name>.txt oder <model_name>.emd) in den Medienordner des Survey.

   Dateinamen dürfen keine Leerzeichen enthalten.

   Mithilfe des Modells "Common Object Detection" im ArcGIS Living Atlas of the World können Sie sich mit intelligenten Assistenten vertraut machen. Sie können entweder das Modell herunterladen oder das Modell mit dem Survey verknüpfen.

4. Fügen Sie den Parameter smartAttributes in der Spalte bind::esri:parameters hinzu, und geben Sie den Namen des Modells an.

   smartAttributes=CommonObjectDetection

5. Fügen Sie optional Eigenschaften nach dem Modellnamen in die Spalte bind::esri:parameters ein, um die minimale Konfidenzpunktzahl, Kameravorschau, Beschriftungen und Objektklassen festzulegen. Trennen Sie die Eigenschaften durch ein kaufmännisches Und-Zeichen (&).

   smartAttributes=CommonObjectDetection&minScore=0.6&cameraPreview=true

Bei der Erfassung eines Bildes werden die im Bild erkannten Objekte in die zugehörigen EXIF-Metadaten geschrieben. Sie können Berechnungen im Survey nutzen, um die Attribute aus einem Bild zu extrahieren und in anderen Fragen zu verwenden.

In der folgenden Tabelle sind die erforderlichen und optionalen Eigenschaften aufgeführt, die mit dem Parameter smartAttributes verwendet werden können:

Eigenschaft	Standardwert	Beschreibung
<model_name>	N. z.	Erforderlich. Das Objekterkennungs- oder Bildklassifizierungsmodell. Modellnamen dürfen keine Leerzeichen enthalten. Der Name muss mit dem Dateinamen (ohne Erweiterung) der Modelldatei, die im Medienordner des Survey gespeichert ist, übereinstimmen. Wert: <model_name> Beispiel: smartAttributes=CommonObjectDetection
minScore	0,5	Optional. Geben Sie das mindestens erforderliche Konfidenzniveau für die Objekterkennung oder Bildklassifizierung an. Werte: 0 - 1 Beispiel: minScore=0.7
cameraPreview	false	Optional. Aktivieren Sie die Echtzeit-Vorschau. Von dem Modell erkannte Objekte werden durch umgebende Rechtecke in der Live-Kameraansicht identifiziert. Werte: true | false Beispiel: cameraPreview=true
label	true	Optional. Geben Sie an, ob Objektklassenbeschriftungen in der Kameraansicht angezeigt werden. Dies ist nur gültig bei der Einstellung cameraPreview=true. Werte: true | false Beispiel: label=false
Klasse	n. z. (alle Klassen im Modell werden verwendet)	Optional. Die Objektklassen, die erkannt werden sollen. Alle anderen Klassen im Modell werden ignoriert. Die Klassennamen müssen mit den Klassen im Modell identisch sein. Es können mehrere durch Kommas getrennte Klassen angegeben werden. Wert: <class name> Beispiel: class=parking_meter,stop_sign,traffic_light

Extrahieren von Werten aus einem Bild

Führen Sie die folgenden Schritte aus, um Attribute aus einem Bild zu extrahieren:

1. Fügen Sie dem Survey eine Textfrage oder eine Frage des Typs "calculate" hinzu.

   Wenn Sie eine Textfrage verwenden, ist das JSON-Objekt auf dem Formular sichtbar. Bei einer Frage vom Typ "calculate" wird das JSON-Objekt nicht auf dem Formular angezeigt, die Werte können jedoch von anderen Fragen referenziert werden.

2. Geben Sie Folgendes in die Spalte calculation ein: string(pulldata("@exif", ${photo}, "ImageDescription"))

   Durch diesen Ausdruck wird die Bildbeschreibung in Form eines JSON-Objekts aus den EXIF-Metadaten des Bildes abgerufen. Stellen Sie sicher, dass die Spalte bind::esri:fieldLength der Frage lang genug zum Speichern des Ergebnisses ist. Das JSON-Objekt enthält Informationen zu den Objekten, die im Bild erkannt wurden. Dabei ist classNames eine durch Kommas getrennte Liste der Objektklassen, während classes den Namen, die Punktzahl und die Koordinaten des umgebenden Rechtecks für jedes einzelne Objekt enthält. Beispiel:

   {
     "classNames": "person,bottle,keyboard",
     "classes": [
       {
         "name": "person",
         "score": 0.67421875,
         "xmin": 47,
         "ymin": 20,
         "xmax": 1086,
         "ymax": 262
       },
       {
         "name": "bottle",
         "score": 0.7625,
         "xmin": 237,
         "ymin": 469,
         "xmax": 552,
         "ymax": 639
       },
       {
         "name": "keyboard",
         "score": 0.55078125,
         "xmin": 28,
         "ymin": 49,
         "xmax": 1078,
         "ymax": 385
       }
     ]
   }

3. Fügen Sie dem Survey namens results eine Textfrage hinzu.
4. Geben Sie Folgendes in die Spalte calculation ein: string(pulldata("@json", ${results}, "classNames"))

   Mit diesem Ausdruck wird der Wert classNames aus dem JSON-Objekt abgerufen.

Einzelne Ergebnisse können optional aus der Frage des Typs "result" abgerufen und in Textfragen mit Einfachauswahl, Mehrfachauswahl oder einem anderen Typ eingefügt werden. Beispiele dazu finden Sie im Beispiel-Survey zu intelligenten Attributen in Survey123 Connect.

Hinzufügen von intelligenter Annotation zu einem Survey

Gehen Sie folgendermaßen vor, um einem Survey intelligente Annotation hinzuzufügen:

1. Erstellen Sie einen Survey in Survey123 Connect.
2. Fügen Sie eine Bildfrage mit dem Aussehen annotate hinzu.

   Geben Sie optional method=camera,browse in die Spalte body::esri:style für die Bildfrage ein. Im Standardverhalten des Aussehens "annotate" dürfen neue Fotos mit der Kamera in der mobilen App aufgenommen werden. Durch die Angabe von method=camera,browse wird sichergestellt, dass intelligente Annotation auch mit aus dem Gerätespeicher ausgewählten Bildern verwendet werden kann und nicht nur mit den von der Kamera aufgenommenen Fotos.

3. Kopieren Sie die Modelldateien (<model_name>.tflite und <model_name>.txt oder <model_name>.emd) in den Medienordner des Survey.

   Dateinamen dürfen keine Leerzeichen enthalten.

   Mithilfe des Modells "Common Object Detection" in ArcGIS Living Atlas of the World können Sie sich mit intelligenten Assistenten vertraut machen. Sie können entweder das Modell herunterladen oder das Modell mit dem Survey verknüpfen.

4. Fügen Sie den Parameter smartAnnotation der Spalte bind::esri:parameters hinzu, und geben Sie den Namen des Modells an.

   smartAnnotation=CommonObjectDetection

5. Fügen Sie optional Eigenschaften nach dem Modellnamen in die Spalte bind::esri:parameters ein, um die minimale Konfidenzpunktzahl, Kameravorschau, Beschriftungen, Objektklassen, umgebende Rechtecke und Schriftartformatierungen festzulegen. Trennen Sie die Eigenschaften durch ein kaufmännisches Und-Zeichen (&).

   smartAnnotation=CommonObjectDetection&minScore=0.6&cameraPreview=true&class=car&fontSize=24

Bei der Erfassung eines Bildes werden die im Bild erkannten Objekte durch umgebende Rechtecke und Beschriftungen auf der Annotations-Zeichenfläche identifiziert. Sie können Annotation hinzufügen, ändern und löschen.

In der folgenden Tabelle sind die erforderlichen und optionalen Eigenschaften aufgeführt, die mit dem Parameter smartAnnotation verwendet werden können:

Eigenschaft	Standardwert	Beschreibung
<model_name>	N. z.	Erforderlich. Das Objekterkennungsmodell. Modellnamen dürfen keine Leerzeichen enthalten. Der Name muss mit dem Dateinamen (ohne Erweiterung) der Modelldatei, die im Medienordner des Survey gespeichert ist, übereinstimmen. Wert: <model_name> Beispiele: smartAnnotation=CommonObjectDetection
minScore	0,5	Optional. Geben Sie das mindestens erforderliche Konfidenzniveau für die Objekterkennung an. Werte: 0 - 1 Beispiele: minScore=0.7
cameraPreview	false	Optional. Aktivieren Sie die Echtzeit-Vorschau. Vom Modell erkannte Objekte werden durch umgebende Rechtecke in der Live-Kameraansicht identifiziert. Werte: true | false Beispiele: cameraPreview=true
label	true	Optional. Geben Sie an, ob Objektklassenbeschriftungen in der Kameraansicht und auf der Annotations-Zeichenfläche angezeigt werden. Dies ist nur gültig bei der Einstellung cameraPreview=true. Werte: true | false Beispiele: label=false
Klasse	n. z. (alle Klassen im Modell werden verwendet)	Optional. Die Objektklassen, die erkannt werden sollen. Alle anderen Klassen im Modell werden ignoriert. Die Klassennamen müssen mit den Klassen im Modell identisch sein. Es können mehrere durch Kommas getrennte Klassen angegeben werden. Wert: <class name> Beispiele: class=truck,car,motorcycle
boundingBoxes	true	Optional. Geben Sie an, ob die Polygone von umgebenden Rechtecken als grafische Elemente auf der Annotations-Zeichenfläche erstellt werden, um erkannte Objekte zu identifizieren. Werte: true | false Beispiele: boundingBoxes=false
outlineWidth	2	Optional. Geben Sie die Breite der umgebenden Rechtecke an. Dies ist nur gültig bei der Einstellung boundingBoxes=true. Werte: <integer> Beispiele: outlineWidth=3
font	Schriftart der mobilen Survey123-App	Optional. Die verwendete Schriftart für Beschriftungen auf der Annotations-Zeichenfläche. Hinweis: Nicht jede Schriftart ist auf jedem Gerät verfügbar. Überprüfen Sie die Annotation, die durch Ihre bevorzugten Geräte generiert wird, um sicherzustellen, dass die Annotation wie gewünscht angezeigt wird. Wert: <font name> Beispiele: font=verdana
fontSize	20	Optional. Geben Sie die Größe der Beschriftungen auf der Annotations-Zeichenfläche an. Wert: <integer> Beispiele: fontSize=30
bold	false	Optional. Geben Sie an, ob Beschriftungen auf der Annotations-Zeichenfläche fett formatiert werden sollen. Werte: true | false Beispiele: bold=true
italic	false	Optional. Geben Sie an, ob Beschriftungen auf der Annotations-Zeichenfläche kursiv formatiert werden sollen. Werte: true | false Beispiele: italic=true

Sie können anpassen, wie Objekte auf der Zeichenfläche mit Annotation versehen werden, indem Sie eine benutzerdefinierte Annotationspalette erstellen. Sie können Beschriftungen formatieren und den Style der umgebenden Rechtecke oder Markersymbole, mit denen die einzelnen Objektklassen identifiziert werden, definieren. Um einen benutzerdefinierten Annotations-Style auf eine Objektklasse anzuwenden, muss der Wert in der Spalte label der XLSPalette-Vorlage mit dem Namen der Klasse im Modell übereinstimmen. Weitere Informationen finden Sie unter Paletten für "draw" und "annotate".

Hinweis:

Wenn Sie eine benutzerdefinierte Annotationspalette mit intelligenter Annotation verwenden, werden die folgenden Eigenschaften ignoriert:

• label (nur für die Annotations-Zeichenfläche)
• boundingBoxes
• outlineWidth
• font
• fontSize
• bold
• italic

Hinzufügen von intelligenten Schwärzungen in einem Survey

Sie können in einer Bildfrage in einem Survey Schwärzungen vornehmen, indem Sie der Spalte bind::esri:parameters den Parameter redaction hinzufügen. Es gibt drei Möglichkeiten, Bildschwärzungen in einem Survey zu konfigurieren:

• Vornehmen von Schwärzungen durch das Hinzufügen eines Modells zum Survey. Diese Methode wird unter Android, iOS und Windows unterstützt.
• Hinzufügen integrierter Gesichtsschwärzung. Diese Methode wird unter Android und iOS unterstützt. Möglicherweise müssen Benutzer verbesserte Kamerafunktionen in der mobilen App aktivieren, um intelligente Schwärzungen zu aktivieren. Weitere Informationen finden Sie unter Machine learning.
• Hinzufügen rein manueller Schwärzungen. Mit dieser Methode können Benutzer Bereiche eines Bildes schwärzen, indem sie manuell umgebende Rechtecke hinzufügen. Diese Methode wird unter Android, iOS und Windows unterstützt.

In der folgenden Tabelle sind die erforderlichen und optionalen Eigenschaften aufgeführt, die mit dem Parameter redaction verwendet werden können:

Eigenschaft	Standardwert	Beschreibung
<model_name>	N. z.	Erforderlich. Das Objekterkennungsmodell. Modellnamen dürfen keine Leerzeichen enthalten. Der Name muss mit dem Dateinamen (ohne Erweiterung) der Modelldatei, die im Medienordner des Survey gespeichert ist, übereinstimmen. Verwenden Sie alternativ @faces für die integrierte Gesichtserkennung oder @manual zur Aktivierung der rein manuellen Schwärzung. Werte: <model_name> | @faces | @manual Beispiele: redaction=CommonObjectDetection redaction=@faces redaction=@manual
minScore	0,5	Optional. Geben Sie das mindestens erforderliche Konfidenzniveau für die Objekterkennung an. Wird ignoriert, wenn der Modellname @faces oder @manual lautet. Werte: 0 - 1 Beispiele: minScore=0.7
cameraPreview	false	Optional. Aktivieren Sie die Echtzeit-Vorschau. Vom Modell erkannte Objekte werden durch umgebende Rechtecke in der Live-Kameraansicht identifiziert. Wird ignoriert, wenn der Modellname @manual lautet. Werte: true | false Beispiele: cameraPreview=true
label	true	Optional. Geben Sie an, ob Objektklassenbeschriftungen in der Kameraansicht angezeigt werden. Dies ist nur gültig bei der Einstellung cameraPreview=true. Werte: true | false Beispiele: label=false
Klasse	n. z. (alle Klassen im Modell werden verwendet)	Optional. Die Objektklassen, die erkannt werden sollen. Alle anderen Klassen im Modell werden ignoriert. Die Klassennamen müssen mit den Klassen im Modell identisch sein. Wird ignoriert, wenn der Modellname @faces oder @manual lautet. Wert: <class_name>, durch Kommas getrennt (,) Beispiele: class=person,cat,dog
engine	N. z.	Optional. Verwenden Sie die integrierte Apple Vision API für die Gesichtserkennung. Weitere Informationen finden Sie unter Machine learning. Diese Eigenschaft ist nur gültig, wenn der Modellname @faces lautet, und wird nur auf iOS-Geräten unterstützt. Wert: vision Beispiele: engine=vision
effect	Verpixeln	Optional. Geben Sie den Schwärzungseffekt an, der auf geschwärzte Bereiche angewendet werden soll. Werte: pixelate | blur | blockout | symbol Beispiele: effect=blur
symbol	N. z.	Optional. Das Symbol, das auf geschwärzte Bereiche angewendet werden soll. Dies ist nur gültig bei der Einstellung effect=symbol. Werte: <Emoji> | <SVG file name> Beispiele: symbol=🚫 symbol=blockout.svg
fillColor	#000000	Optional. Die Füllfarbe des Verdeckungsfeldes. Dies ist nur gültig bei der Einstellung effect=blockout. Werte: <HTML color name> | <hex color code> Beispiele: fillColor=Blue
Skalieren	1	Optional. Geben Sie die Größe der umgebenden Rechtecke an. Dies kann höchstens die doppelte Größe der Standardeinstellung sein. Wird ignoriert, wenn der Modellname @manual lautet. Werte: 1 | 2 Beispiele: scale=2

Vornehmen von Schwärzungen durch das Hinzufügen eines Modells

Führen Sie die folgenden Schritte aus, um Schwärzungen in einem Survey durch das Hinzufügen eines Objekterkennungsmodells vorzunehmen:

1. Erstellen Sie einen Survey in Survey123 Connect.
2. Fügen Sie eine Bildfrage hinzu.
3. Kopieren Sie die Modelldateien (<model_name>.tflite und <model_name>.txt oder <model_name>.emd) in den Medienordner des Survey.

   Dateinamen dürfen keine Leerzeichen enthalten.

   Mithilfe des Modells "Common Object Detection" in ArcGIS Living Atlas of the World können Sie sich mit intelligenten Assistenten vertraut machen. Sie können entweder das Modell herunterladen oder das Modell mit dem Survey verknüpfen.

4. Fügen Sie den Parameter redaction der Spalte bind::esri:parameters hinzu, und geben Sie den Namen des Modells an.

   redaction=CommonObjectDetection

5. Fügen Sie optional Eigenschaften nach dem Modellnamen in die Spalte bind::esri:parameters ein, um die minimale Konfidenzpunktzahl, Kameravorschau, Beschriftungen, Objektklassen, Engine und Schwärzungseffekte festzulegen. Trennen Sie die Eigenschaften durch ein kaufmännisches Und-Zeichen (&).

   redaction=CommonObjectDetection&minScore=0.6&cameraPreview=true&effect=blur

Hinzufügen integrierter Gesichtsschwärzung

Führen Sie die folgenden Schritte aus, um integrierte Geschichtsschwärzungen in einem Survey ohne das Hinzufügen eines Objekterkennungsmodells vorzunehmen:

1. Erstellen Sie einen Survey in Survey123 Connect.
2. Fügen Sie eine Bildfrage hinzu.
3. Fügen Sie den Parameter redaction der Spalte bind::esri:parameters hinzu, und geben Sie dem Modell den Namen @faces.

   redaction=@faces

   Die Eigenschaft @faces schwärzt Gesichter in Bildern mit integrierter Technologie. Damit die Schwärzung vorgenommen werden kann, müssen die verbesserten Kamerafunktionen in der mobilen App aktiviert sein. Weitere Informationen finden Sie unter Machine learning.

4. Fügen Sie optional Eigenschaften nach dem Modellnamen in die Spalte bind::esri:parameters ein, um die minimale Konfidenzpunktzahl, Kameravorschau, Beschriftungen, Objektklassen, Engine und Schwärzungseffekte festzulegen. Trennen Sie die Eigenschaften durch ein kaufmännisches Und-Zeichen (&).

   redaction=@faces&cameraPreview=true&effect=blur

Hinzufügen manueller Schwärzungen

Führen Sie die folgenden Schritte aus, um manuelle Schwärzungen in einem Survey vorzunehmen:

1. Erstellen Sie einen Survey in Survey123 Connect.
2. Fügen Sie eine Bildfrage hinzu.
3. Fügen Sie den Parameter redaction der Spalte bind::esri:parameters hinzu, und geben Sie dem Modell den Namen @manual.

   redaction=@manual

4. Fügen Sie optional Eigenschaften nach dem Modellnamen in die Spalte bind::esri:parameters ein, um die Schwärzungseffekte festzulegen. Trennen Sie die Eigenschaften durch ein kaufmännisches Und-Zeichen (&).

   redaction=@manual&effect=blockout&fillColor=#000000