Assistants intelligents

Les assistants intelligents enrichissent les processus de collecte de données sur le terrain, en transformant la caméra d’un appareil mobile en un outil capable de reconnaître les objets relevant du processus en question. Grâce à cette technologie, les utilisateurs peuvent masquer des renseignements nominatifs par souci de protection de la vie privée. En outre, elle contribue à rendre la collecte de données plus efficace et moins faillible. Avec les assistants intelligents, ce sont les utilisateurs qui ont le dernier mot sur les modifications apportées aux images et les données envoyées.

Les assistants intelligents peuvent être configurés pour les questions de type image des enquêtes. Il existe trois façons d’utiliser les assistants intelligents dans l’application de terrain Survey123, comme indiqué ci-après. Chaque assistant fonctionne avec les photos prises par la caméra de l’application ou avec les photos sélectionnées dans l’application à partir du système de fichiers.

• Attributs intelligents - Utilisez la classification d’images ou la détection d’objets, et affichez un aperçu en temps réel des attributs au cours de la capture des images. Lors de la capture, les attributs sont stockés dans les métadonnées EXIF de l’image. lls peuvent ensuite être extraits et utilisés pour renseigner le contenu d’autres questions dans l’enquête.
• Annotation intelligente - Utilisez la détection d’objets pour générer sur une image des graphiques d’annotation qu’il est possible d’éditer à l’aide des outils d’annotation.
• Édition intelligente - Utilisez la détection d’objets pour générer des emprises autour des objets cibles, puis appliquez des effets pour éditer ces régions.

Attributs intelligents

Les attributs intelligents vous permettent d’associer une question de type image avec un modèle de classification d’images ou de détection d’objets et d’extraire des valeurs en fonction des objets détectés par le modèle sur l’image. Grâce à l’utilisation des attributs intelligents pour l’analyse de l’image, vous pouvez automatiser l’identification et le classement des sujets que contient l’image, et réduire le risque d’erreurs ou d’incohérences au cours de l’analyse.

Par exemple, après avoir pris une photo d’une route, vous utilisez les attributs intelligents pour identifier et analyser les différents types de bouches d’égout figurant sur la photo. Vous pouvez utiliser la fonction pulldata("@json") pour lire les résultats de détection qui se trouvent dans les métadonnées EXIF de l’image.

Les résultats de détection varient en fonction du type de modèle. Les modèles de détection d’objets affichent tous les éléments identifiés avec des emprises dans l’aperçu de la caméra. Les modèles de classification d’images affichent la classe identifiée en bas de l’aperçu de l’image. Les valeurs sont écrites dans les métadonnées EXIF de l’image lors de sa capture.

Pour plus d’informations, reportez-vous à la section Ajouter des attributs intelligents à une enquête.

Annotation intelligente

L’annotation intelligente vient compléter les outils d’annotation d’image de Survey123 en ce sens qu’elle annote automatiquement les objets détectés dans l’image. Les résultats de la détection sont ajoutés à la toile d’annotation après que vous avez pris une photo ou ajouté une image provenant de l’emplacement de stockage de l’appareil. Vous pouvez éditer les emprises et les étiquettes sur la toile et ajouter une annotation. Pour plus d’informations sur la toile d’annotation, reportez-vous à la rubrique Dessiner et annoter. Vous pouvez également créer des palettes d’annotation personnalisées pour appliquer une symbologie caractéristique de chaque classe d’un modèle de détection d’objets. Pour plus d’informations, consultez Palettes Dessiner et annoter.

Par exemple, vous pouvez utiliser l’annotation intelligente dans une scène de rue pour étiqueter et annoter les véhicules figurant sur l’image. Dans ce cas, vous avez besoin d’un modèle de détection d’objets entraîné pour détecter différents types de véhicules. L’image annotée peut trouver diverses utilités, notamment dans l’analyse de la circulation routière, la gestion du stationnement et l’aménagement urbain. L’utilisation de l’annotation intelligente pour annoter automatiquement l’image peut représenter un gain de temps et d’énergie, par rapport à l’annotation manuelle, et réduire le risque d’erreurs et d’incohérences au cours de l’étiquetage.

Pour plus d’informations, reportez-vous à la section Ajouter une annotation intelligente à une enquête.

Édition intelligente

L’édition permet de masquer des informations sensibles sur des images, notamment les visages. Survey123 prend en charge l’édition manuelle, qui permet aux utilisateurs de sélectionner manuellement des régions d’une image avant d’enregistrer l’image et de l’envoyer avec l’enquête. Il est également possible d’utiliser l’édition intelligence pour éditer des images.

Les effets d’édition sont le flou, le masquage, la pixellisation et le symbole.

Pour plus d’informations, reportez-vous à la section Ajouter une édition intelligente à une enquête.

Entraînement machine

Les assistants intelligents de l’application de terrain Survey123 utilisent des modèles de Machine Learning qui sont entraînés pour détecter des modèles (formes) dans les images. Les modèles sont téléchargés avec les enquêtes ou accessibles par des API intégrées, si bien que les assistants intelligents fonctionnent avec un appareil en mode connexion ou hors connexion, et le traitement d’image complet est exécuté sur l’appareil.

Remarque :

Survey123 vous permet d’utiliser des API, intégrées dans l’application de terrain ou le système d’exploitation de votre appareil, qui donnent accès à des modèles de détection d’objets tiers entraînés par Deep Learning. Vous pouvez également entraîner vos propres modèles. Vous êtes responsable de l’utilisation de ces modèles. Lorsque vous utilisez Survey123, vous êtes tenu de vérifier les sorties et, en cas d’édition d’images, de corriger manuellement les informations qui peuvent échapper à l’édition automatique.

Vous pouvez utiliser cette technologie dans Survey123 des manières suivantes :

• Placez un modèle TensorFlow Lite dans le dossier media de l’enquête. Cette méthode est prise en charge sur Android, sur iOS et sous Windows pour tous les assistants intelligents. Vous pouvez créer des modèles TensorFlow Lite pour la détection de classes d’objets adaptées à un cas d’utilisation précis. Vous pouvez également télécharger le paquetage de Deep Learning Détection des objets communs comme référence. Pour plus d’informations, reportez-vous à la section Modèles ci-après.
• Dans le cas de l’édition intelligente uniquement, vous pouvez utiliser les API intégrées pour éditer les visages sur les images. Avec cette méthode, vous n’avez pas besoin de fichier de modèle. Survey123 prend en charge deux technologies intégrées :
  • Google ML Kit est intégré dans l’application de terrain Survey123 et pris en charge sous Android et iOS. Google ML Kit permet de bénéficier de l’édition intelligente la plus rapide et la plus précise possible dans l’application de terrain. Pour pouvoir utiliser cette technologie, les fonctions de caméra améliorées doivent être activées dans l’application de terrain. Les utilisateurs peuvent les activer en cliquant sur Settings (Paramètres) > Privacy and Security (Confidentialité et sécurité). Les administrateurs d’organisation peuvent également activer ou désactiver ces fonctions pour tous les utilisateurs de l’application de terrain. Pour plus d’informations, reportez-vous à la rubrique Paramètres de l’organisation.
  • Sur iOS, vous pouvez activer l’API Vision intégrée de la marque Apple pour la détection des visages en définissant la propriété engine=vision avec le paramètre redaction. Cette API est intégrée dans le système d’exploitation iOS.
• Vous pouvez utiliser les API intégrées pour accroître la précision et les performances de la numérisation des codes à barres sur Android et sur iOS. Cela concerne les questions de type code à barres dans les enquêtes et le scanner de codes-barres dans la bibliothèque d’enquêtes. Pour plus d’informations, reportez-vous à la rubrique Codes à barres.

Attention :

Les fonctions de caméra améliorées utilisent Google ML Kit. En cas d’activation des fonctions de caméra améliorées dans l’application de terrain, des statistiques d’utilisation peuvent être envoyées à Google à des fins de mesure des performances, de débogage, de gestion et d’amélioration des produits, ainsi que de détection de tout mauvais usage ou usage abusif. Le traitement d’image se déroule entièrement sur l’appareil, et aucune image n’est envoyée aux serveurs Google. Pour plus d’informations, consultez la page Google ML Kit Terms & Privacy du site Web des développeurs de Google.

Sur iOS, la numérisation des codes à barres et les enquêtes qui incluent la propriété d’édition intelligente engine=vision utilisent automatiquement les API Vision intégrées de la marque Apple. Ces API peuvent envoyer des données d’analyse à Apple. Il peut s’agir de certaines spécifications du système d’exploitation et du matériel, de statistiques de performance et d’informations sur la manière dont vous utilisez vos appareils et vos applications. Vous pouvez vérifier ces informations dans les paramètres de sécurité et confidentialité de votre appareil iOS. L’utilisation de ces informations permet à Apple d’améliorer et de développer ses produits et ses services. Toutes les informations collectées sont anonymisées. Les données personnelles ne sont pas consignées, sont soumises à des techniques de protection de la vie privée telles que la confidentialité différentielle ou sont retirées de tous les rapports avant d’être envoyées à Apple. Pour plus d’informations, consultez les pages Analyse de l’appareil et confidentialité et Données et confidentialité sur le site Web Apple.

Pour plus d’informations, reportez-vous à la rubrique Préparer des assistants intelligents.

Modèles

L’application de terrain Survey123 prend en charge les modèles TensorFlow Lite dans les fichiers .tflite. Les modèles doivent être accompagnés d’un fichier .emd ou d’un fichier .txt qui contient des informations sur le type de modèle et les classes d’objets qu’ils sont entraînés à détecter, y compris les étiquettes pour chaque classe. L’application de terrain Survey123 prend en charge deux types de modèles de Machine Learning :

• Détection d’objets - Un modèle de détection d’objets est entraîné pour détecter la présence et l’emplacement de plusieurs classes d’objets dans une image, chacune associée à une étiquette. Pour plus d’informations, reportez-vous à la page Détection d’objet.
• Classification d’images - Un modèle de classification d’images est entraîné pour reconnaître différentes classes d’images, chacune associée à une étiquette. Le résultat est une probabilité que l’image représente une des étiquettes du modèle. Pour plus d’informations, reportez-vous à la page Classement des images. Ce type de modèle est particulièrement indiqué dans les cas où il y a un objet cible dans chaque image.

Conseil :

Le paquetage de Deep Learning Détection des objets communs du ArcGIS Living Atlas of the World est un modèle de détection d’objets TensorFlow Lite entraîné à partir du jeu de données COCO (Common Objects in Context, Objets communs en contexte). Il peut détecter 80 objets communs, dont les personnes, les animaux, les produits alimentaires, les véhicules et les articles ménagers. Même si l’utilisation de ce modèle dans les enquêtes de production n’est pas recommandée, elle peut être pertinente à titre de démonstration et pour se familiariser avec les assistants intelligents. Pour plus d’informations, reportez-vous à la rubrique Présentation du modèle.

Création de modèles

Vous pouvez créer des modèles de classification d’images ou de détection d’objets adaptés à vos critères. Les modèles sont entraînés sur une collection d’images qui sont étiquetées avec des emprises de manière à pouvoir repérer l’emplacement de chaque objet de l’image. L’entraînement d’un modèle peut demander beaucoup de temps et de ressources. La précision et les performances d’un modèle dépendent du nombre d’images utlisées pour l’entraîner ainsi que l’adéquation de ces images.

Vous pouvez créer des modèles de classification d’images à l’aide des outils d’ArcGIS. Suivez les étapes du didacticiel Entraîner un modèle pour identifier les panneaux de rue, pour créer un modèle de classification d’images. Ce didacticiel explique comment utiliser Survey123 pour capturer une collection représentative d’images d’entraînement, entraîner un modèle avec ArcGIS Notebooks et utiliser le modèle dans l’application de terrain Survey123 pour classer les nouvelles images.