Intelligente Assistenten

Intelligente Assistenten erweitern Workflows für die Datenerfassung im Außendienst und wandeln die mobile Gerätekamera in ein Werkzeug um, das für den jeweiligen Workflow relevante Objekte erkennen kann. Mit dieser Technologie kann die Privatsphäre von Menschen geschützt werden, indem Benutzer Unterstützung bei der Schwärzung von Informationen erhalten, über die sich Personen identifizieren lassen. Außerdem ist die Datenerfassung dadurch effizienter und weniger fehleranfällig. Bei intelligenten Assistenten haben Benutzer das letzte Wort bei Änderungen an den gesendeten Bildern und Daten.

Intelligente Assistenten können für Bildfragen in Surveys konfiguriert werden. Es gibt drei Möglichkeiten, intelligente Assistenten in der mobilen Survey123-App zu verwenden, die im Folgenden beschrieben werden. Assistenten können für mit der Kamera in der App aufgenommene Fotos oder für in der App aus dem Dateisystem ausgewählte Fotos verwendet werden.

• Intelligente Attribute: Führen Sie eine Bildklassifizierung oder Objekterkennung durch, und zeigen Sie eine Echtzeit-Vorschau von Attributen während der Bildaufnahme an. Bei der Aufnahme werden Attribute in den EXIF-Metadaten des Bildes gespeichert, sodass sie dann extrahiert und in andere Fragen im Survey eingefügt werden können.
• Intelligente Annotation: Generieren Sie über die Objekterkennung Grafiken auf einem Bild, die ein Benutzer mit Annotationswerkzeugen bearbeiten kann.
• Intelligente Schwärzungen: Generieren Sie über die Objekterkennung umgebende Rechtecke um Zielobjekte, und wenden Sie dann Effekte an, um diese Bereiche zu schwärzen.

Intelligente Attribute

Intelligente Attribute ermöglichen die Verknüpfung einer Bildfrage mit einem Objekterkennungs- oder Bildklassifizierungsmodells und das Extrahieren von Werten basierend auf den Objekten, die von dem Modell im Bild erkannt werden. Durch das Verwenden von intelligenten Attributen zur Erleichterung der Bildanalyse können Sie den Prozess der Identifikation und Kategorisierung der im Bild vorhandenen Elemente automatisieren und das Risiko von Fehlern oder Inkonsistenzen im Analyseprozess verringern.

So können Sie beispielsweise ein Foto einer Straße aufnehmen und intelligente Attribute einsetzen, um verschiedene Kanalschächte im Foto zu identifizieren und zu analysieren. Mit der Funktion pulldata("@json") können Sie die Erkennungsergebnisse in den EXIF-Metadaten des Bildes lesen.

Erkennungsergebnisse sind abhängig vom Modelltyp unterschiedlich. In Objekterkennungsmodellen werden alle identifizierten Elemente innerhalb von umgebenden Rechtecken in der Kameravorschau angezeigt. Bei Bildklassifizierungsmodellen wird die identifizierte Klasse am unteren Rand der Bildvorschau angezeigt. Die Werte werden bei der Bildaufnahme in die EXIF-Metadaten des Bildes geschrieben.

Weitere Informationen finden Sie unter Hinzufügen von intelligenten Attributen zu einem Survey.

Intelligente Annotation

Intelligente Annotation erweitert die Bildannotationswerkzeuge in Survey123, indem im Bild erkannte Objekte automatisch mit Annotation versehen werden. Die Erkennungsergebnisse werden der Annotationszeichenfläche hinzugefügt, nachdem Sie ein Foto aufgenommen oder ein Bild aus dem Gerätespeicher hinzugefügt haben. Sie können die umgebenden Rechtecke und Beschriftungen auf der Zeichenfläche bearbeiten und Annotation hinzufügen. Weitere Informationen zur Annotationszeichenfläche finden Sie unter "draw" und "annotate". Außerdem können Sie benutzerdefinierte Annotationspaletten erstellen, um für jede Klasse in einem Objekterkennungsmodell eine spezifische Symbolisierung anzuwenden. Weitere Informationen finden Sie unter Paletten für "draw" und "annotate".

So lässt sich beispielsweise intelligente Annotation in einer Straßenszene nutzen, in der Sie die Fahrzeuge im Bild beschriften und mit Annotation versehen möchten. Diese intelligente Annotation setzt ein Objekterkennungsmodell voraus, das trainiert wurde, um verschiedene Fahrzeugtypen zu erkennen. Das mit Annotation versehene Bild kann in einer Vielzahl von Anwendungen nützlich sein, z. B. Verkehrsanalyse, Parkplatznutzung und Stadtplanung. Wenn Sie das Bild mittels intelligenter Annotation automatisch mit Annotation versehen, sparen Sie Zeit und Mühe im Vergleich zur manuellen Annotation und senken das Risiko von Fehlern oder Inkonsistenzen beim Beschriftungsvorgang.

Weitere Informationen finden Sie unter Hinzufügen von intelligenter Annotation zu einem Survey.

Intelligente Schwärzung

Benutzer können vertrauliche Informationen in Bildern durch Schwärzungen unkenntlich machen, z. B. Gesichter. Survey123 unterstützt manuelle Schwärzungen und ermöglicht damit Benutzern die manuelle Auswahl von Bildbereichen, bevor das Bild gespeichert und mit dem Survey übermittelt wird. Sie können Bilder auch durch intelligente Schwärzungen bearbeiten.

Als Schwärzungseffekte stehen Weichzeichnen, Verdecken, Verpixeln und Symbole zur Verfügung.

Weitere Informationen finden Sie unter Hinzufügen von intelligenten Schwärzungen in einem Survey.

Machine Learning

Intelligente Assistenten in der mobilen Survey123-App greifen auf Modelle für maschinelles Lernen zurück, die zum Erkennen von Mustern in Bildern trainiert wurden. Da Modelle mit Surveys heruntergeladen oder über integrierte APIs aufgerufen werden, lassen sich intelligente Assistenten verwenden, wenn das Gerät online oder offline ist. Alle Bildverarbeitungsaufgaben werden auf dem Gerät ausgeführt.

Hinweis:

Survey123 ermöglicht die Verwendung von APIs, die in die mobile App oder das Betriebssystem des Geräts integriert wurden und Zugriff auf Objekterkennungsmodelle von Drittanbietern, die mit Deep Learning trainiert wurden, ermöglichen. Sie können auch eigene Modelle trainieren. Sie sind selbst für die Verwendung dieser Modelle verantwortlich. Bei Verwendung von Survey123 sind Sie dafür zuständig, die Ausgaben zu prüfen und im Fall von Bildschwärzungen alle Informationen, die bei der automatischen Schwärzung übersehen wurden, manuell zu überarbeiten.

Sie können diese Technologie in Survey123 auf folgende Weise verwenden:

• Geben Sie ein TensorFlow Lite-Modell im Medienordner des Survey an. Diese Methode wird bei allen intelligenten Assistenten von Android, iOS und Windows unterstützt. Sie können TensorFlow Lite-Modelle zum Erkennen von Objektklassen für Ihren spezifischen Anwendungsfall erstellen. Laden Sie alternativ das Deep-Learning-Paket Common Object Detection zur Verwendung als Ausgangspunkt herunter. Weitere Informationen finden Sie im Abschnitt "Modelle" unten.
• Bei intelligenten Schwärzungen können Sie auch integrierte APIs einsetzen, um Gesichter in Bildern zu schwärzen. Bei dieser Methode müssen Sie keine Modelldatei angeben. Survey123 unterstützt zwei integrierte Technologien:
  • Google ML Kit wurde in die mobile Survey123-App integriert und wird von Android und iOS unterstützt. Google ML Kit bietet die schnellste und genaueste Umgebung für intelligente Schwärzungen in der mobilen App. Damit diese Technologie verwendet werden kann, müssen die verbesserten Kamerafunktionen in der mobilen App aktiviert sein. Benutzer können verbesserte Kamerafunktionen aktivieren, indem sie auf Einstellungen > Datenschutz und Sicherheit klicken. Organisationsadministratoren können diese Funktionen ebenfalls für alle Benutzer der mobilen App aktivieren oder deaktivieren. Weitere Informationen finden Sie unter Organisationseinstellungen.
  • Für iOS können Sie die integrierte Apple Vision API für die Gesichtserkennung aktivieren, indem Sie die Eigenschaft engine=vision mit dem Parameter redaction angeben. Diese API ist in das iOS-Betriebssystem integriert.
• Mit integrierten APIs lassen sich die Genauigkeit und Performance beim Scannen von Barcodes für Android und iOS erhöhen. Dies gilt für den Fragetyp "barcode" in Surveys und den Barcode-Scanner in der Survey-Galerie. Weitere Informationen finden Sie unter Barcodes.

Vorsicht:

Bei den verbesserten Kamerafunktionen wird Google ML Kit verwendet. Wenn Sie die verbesserten Kamerafunktionen in der mobilen App aktivieren, können im Rahmen von Performance-Messungen, Debugging, Produktpflege und -verbesserung sowie der Erkennung von Missbräuchen Nutzungsstatistiken an Google gesendet werden. Die Bildbearbeitung findet ausschließlich auf dem Gerät statt, es werden keine Bilder an Google-Server gesendet. Weitere Informationen finden Sie in den Nutzungsbedingungen und Datenschutzrichtlinien für Google ML Kit auf der Google-Entwickler-Website.

Unter iOS werden beim Barcode-Scannen und bei Surveys mit der Eigenschaft engine=vision für intelligente Schwärzungen automatisch integrierte Apple Vision APIs verwendet. Von diesen APIs können Analysedaten an Apple gesendet werden. Die Analysedaten können Informationen zu den Hardware- und Betriebssystemspezifikationen, Performance-Statistiken und Daten zur Nutzung Ihrer Geräte und Anwendungen enthalten. Sie können diese Informationen in den Datenschutz- und Sicherheitseinstellungen auf dem iOS-Gerät prüfen. Die Informationen dienen Apple dazu, seine Produkte und Services zu verbessern und weiterzuentwickeln. Sie können über die erfassten Informationen nicht persönlich identifiziert werden. Personenbezogene Daten werden nicht protokolliert. Sie werden mit Methoden zum Beibehalten Ihrer Privatsphäre geschützt (z. B. Differential Privacy) oder ggf. aus Berichten entfernt, bevor diese an Apple gesendet werden. Weitere Informationen finden Sie in den Analyse- und Datenschutzrichtlinien für das Gerät und den Datenschutzbestimmungen auf der Apple-Entwickler-Website.

Weitere Informationen finden Sie im Thema Vorbereiten von intelligenten Assistenten.

Modelle

Die mobile Survey123-App unterstützt TensorFlow Lite-Modelle in .tflite-Dateien. Den Modellen muss eine .emd-Datei oder .txt-Datei zugeordnet sein; diese muss Informationen zum Modelltyp und den Objektklassen, für deren Erkennung es trainiert wurde, sowie die Beschriftungen der einzelnen Klassen enthalten. Die mobile Survey123-App unterstützt zwei Arten von Modellen für maschinelles Lernen:

• Objekterkennung: Ein Objekterkennungsmodell wurde trainiert, um mehrere Klassen von Objekten sowie deren Position in einem Bild zu erkennen, wobei jeder Klasse eine entsprechende Beschriftung zugeordnet ist. Weitere Informationen finden Sie unter Objekterkennung.
• Bildklassifizierung: Ein Bildklassifizierungsmodell wurde trainiert, um verschiedene Klassen von Bildern zu erkennen, wobei jeder Klasse eine entsprechende Beschriftung zugeordnet ist. Die Ausgabe ist eine Wahrscheinlichkeit, mit der das Bild einer der Beschriftungen im Modell entspricht. Weitere Informationen finden Sie unter Bildklassifizierung. Diese Modelle eignen sich am besten für Anwendungen, in denen es ein Zielobjekt pro Bild gibt.

Tipp:

Das Deep-Learning-Paket Common Object Detection im ArcGIS Living Atlas of the World ist ein TensorFlow Lite-Objekterkennungsmodell, das mit dem Dataset "Common Objects in Context (COCO)" trainiert wurde. Es kann 80 allgemeine Objekte erkennen, z. B. Menschen, Tiere, Lebensmittel, Fahrzeuge und Haushaltsgegenstände. Es wird nicht empfohlen, dieses Modell in Produktions-Surveys zu verwenden, es kann jedoch hilfreich bei Demonstrationen sein und eignet sich als Einstieg in intelligente Assistenten. Weitere Informationen erhalten Sie unter Einführung in das Modell.

Modellerstellung

Sie können Bildklassifizierungs- und Objekterkennungsmodelle bei der Erstellung an Ihre spezifischen Anforderungen anpassen. Die Modelle werden anhand einer Sammlung von Bildern trainiert, die mit umgebenden Rechtecken beschriftet sind, um die Position der einzelnen Objekte im Bild zu identifizieren. Das Trainieren eines Modells kann zeit- und ressourcenintensiv sein. Die Genauigkeit und Performance eines Modells ist abhängig von der Anzahl von Bildern, mit denen es trainiert wurde, und der Eignung dieser Bilder.

Sie können Bildklassifizierungsmodelle mit ArcGIS-Werkzeugen erstellen. Führen Sie die Schritte im Lernprogramm Ein Modell trainieren, um Straßenschilder zu identifizieren aus, um ein Bildklassifizierungsmodell zu erstellen. In diesem Lernprogramm wird gezeigt, wie Sie mit Survey123 eine repräsentative Sammlung an Schulungsbildern erfassen, ein Modell mit ArcGIS Notebooks trainieren und das Modell in der mobilen Survey123-App verwenden, um neue Bilder zu klassifizieren.