Assistenti smart

Gli assistenti smart migliorano i flussi di lavoro di acquisizione dei dati sul campo, trasformando la fotocamera del dispositivo mobile in uno strumento che riconosce gli oggetti pertinenti per il flusso di lavoro a portata di mano. Questa tecnologia può essere utilizzata per proteggere la privacy delle persone aiutando gli utenti a oscurare le informazioni di identificazione personale. Può anche rendere la raccolta dei dati più efficiente e meno soggetta a errori. Con gli assistenti smart, gli utenti hanno l'ultima parola sulle modifiche effettuate alle immagini e sui dati che vengono inviati.

Gli assistenti smart possono essere configurati per le domande di immagine nei rilevamenti. Ci sono tre modi di utilizzare gli assistenti smart nell'app da campo Survey123, elencati di seguito. Ogni assistente può essere utilizzato con le foto scattate dalla fotocamera nell'app o con foto selezionate nell'app dal file system.

• Attributi smart: esegue la classificazione dell'immagine o il riconoscimento degli oggetti e mostra un'anteprima in tempo reale degli attributi durante l'acquisizione dell'immagine. All'acquisizione, gli attributi vengono memorizzati nei metadati EXIF dell'immagine e possono essere estratti e utilizzati per compilare altre domande nel rilevamento.
• Annotazione smart: utilizza il riconoscimento degli oggetti per generare grafiche di annotazione su un'immagine modificabile da un utente tramite gli strumenti di annotazione.
• Oscuramento smart: utilizza il riconoscimento degli oggetti per generare caselle di contorno attorno agli oggetti di destinazione, poi applica gli effetti per oscurare tali regioni.

Attributi smart

Gli attributi smart consentono di associare una domanda di immagine con un modello di riconoscimento oggetti o di classificazione immagine ed estrarre i valori in base agli oggetti rilevati dal modello nell'immagine. Utilizzando gli attributi smart per assistere nell'analisi dell'immagine, è possibile automatizzare il processo di identificazione e categorizzazione dei soggetti contenuti nell'immagine e ridurre il rischio di errori o imprecisioni nel processo di analisi.

Ad esempio, si scatta una foto di una strada e si usano gli attributi smart per identificare e analizzare i diversi tipi di tombini nella foto. È possibile utilizzare la funzione pulldata("@json") per leggere i risultati del riconoscimento nei metadati EXIF dell'immagine.

I risultati del riconoscimento variano a seconda del tipo di modello. I modelli di riconoscimento degli oggetti mostrano tutti gli elementi identificati con caselle di contorno nell'anteprima della fotocamera. I modelli di classificazione dell'immagine mostrano la classe identificata sul fondo dell'anteprima dell'immagine. I valori vengono scritti nei metadati EXIF dell'immagine quando essa viene acquisita.

Per ulteriori informazioni, consultare Aggiungere attributi smart a un rilevamento.

Annotazione smart

L'annotazione smart potenzia gli strumenti di annotazione delle immagini in Survey123 annotando automaticamente gli oggetti riconosciuti nell'immagine. I risultati del riconoscimento vengono aggiunti al foglio delle annotazioni dopo aver scattato una foto o aggiunto un'immagine dalla memoria del dispositivo. È possibile modificare le caselle di contorno e le etichette nel foglio e aggiungere le annotazioni. Per ulteriori informazioni sul foglio di annotazione, consultare Disegnare e annotare. È anche possibile creare palette personalizzate di annotazione per applicare una simbologia specifica per ogni classe in un modello di riconoscimento degli oggetti. Per maggiori informazioni, vedi Disegnare e annotare palette.

Come esempio, l'annotazione smart può essere utilizzata in una scena stradale in cui si desidera etichettare e annotare i veicoli nell'immagine. Questa annotazione smart richiede un modello di riconoscimento degli oggetti addestrato per rilevare i diversi tipi di veicoli. L'immagine annotata può essere utile per una varietà di applicazioni, come l'analisi del traffico, la gestione dei parcheggi e la pianificazione urbana. Utilizzando l'annotazione smart per annotare automaticamente l'immagine è possibile risparmiare tempo e fatica in confronto all'annotazione manuale, nonché ridurre il rischio di errori o imprecisioni nel processo di etichettatura.

Per ulteriori informazioni, consultare Aggiungere l'annotazione smart a un rilevamento.

Oscuramento smart

L'oscuramento permette agli utenti di oscurare le informazioni sensibili nelle immagini, ad esempio i volti delle persone. Survey123 supporta l'oscuramento manuale, che consente agli utenti di selezionare manualmente le regioni di un'immagine prima che l'immagine venga salvata e inviata con il rilevamento. In alternativa, è possibile utilizzare l'oscuramento smart per oscurare le immagini.

Gli effetti di oscuramento includono la sfocatura, il blockout, il pixelato e il simbolo.

Per ulteriori informazioni, consultare Aggiungere l'oscuramento smart a un rilevamento.

Apprendimento automatico

Gli assistenti smart nell'app da campo Survey123 utilizzano modelli di apprendimento automatico addestrati per rilevare schemi nelle immagini. Poiché i modelli vengono scaricati con i rilevamenti o sono accessibili tramite API incorporate, gli assistenti smart funzionano quando il dispositivo è online o offline e tutti i processi di elaborazione immagine avvengono nel dispositivo.

Nota:

Survey123 consente di utilizzare le API incorporate nell'app da campo sul sistema operativo del proprio dispositivo, che forniscono accesso a modelli di riconoscimento oggetti di terze parti, addestrati usando l'apprendimento automatico. È anche possibile addestrare i propri modelli. L'utente è responsabile per l'uso di tali modelli. Quando si utilizza Survey123, è responsabilità dell'utente revisionare gli output e, in caso di oscuramento dell'immagine, correggere manualmente le informazioni che potrebbero non essere rilevate dall'oscuramento automatico.

È possibile utilizzare questa tecnologia in Survey123 nei seguenti modi:

• Fornire un modello TensorFlow Lite nella cartella dei media del rilevamento. Questo metodo è supportato su Android, iOS e Windows per tutti gli assistenti smart. È possibile creare modelli TensorFlow Lite per riconoscere classi di oggetti per il proprio specifico caso d'uso. In alternativa, scaricare il pacchetto di apprendimento profondo Common Object Detection per utilizzarlo come punto d'inizio. Per ulteriori informazioni, consultare la sezione Modelli.
• È possibile utilizzare le API incorporate per oscurare i volti nelle immagini solo nel caso dell'oscuramento smart. Con questo metodo non è necessario caricare un file modello. Survey123 supporta due tecnologie:
  • Google ML Kit è integrato nell'app da campo Survey123 ed è supportato su Android e iOS. Google ML Kit fornisce l'oscurazione smart più rapida e precisa nell'app da campo. Per utilizzare questa tecnologia, le funzioni avanzate della fotocamera devono essere abilitate nell'app da campo. Gli utenti possono abilitare le funzioni avanzate della fotocamera facendo clic su Impostazioni > Privacy e sicurezza. Gli amministratori dell'organizzazione possono abilitare o disabilitare queste funzioni per tutti gli utenti dell'app da campo. Per ulteriori informazioni, vedere Impostazioni dell'organizzazione.
  • Su iOS, è possibile abilitare l'API integrata Vision di Apple per il riconoscimento dei volti specificando la proprietà engine=vision con il parametro redaction. Questa API è integrata nel sistema operativo iOS.
• È possibile utilizzare le API integrate per migliorare la precisione e le prestazioni della scansione dei codici a barre su Android e iOS. Questo vale per le domande con codice a barre nei rilevamenti e per lo scanner di codici a barre nella galleria dei rilevamenti. Per maggiori informazioni, consultare Codici a barre.

Attenzione:

Le funzioni avanzate della fotocamera utilizzano Google ML Kit. Quando si abilitano le funzioni avanzate della fotocamera nell'app da campo, potrebbero venire inviate delle statistiche sull'utilizzo a Google per la misurazione delle prestazioni, il debug, la manutenzione e il miglioramento dei prodotti e il rilevamento di utilizzi errati o abusi. L'elaborazione dell'immagine avviene interamente nel dispositivo e nessuna immagine viene inviata ai server di Google. Per ulteriori informazioni, consultare Termini e privacy di Google ML Kit sul sito Web degli sviluppatori di Google.

Su iOS, la scansione dei codici a barre e i rilevamenti che includono la proprietà engine=vision per l'oscuramento automatico utilizzano automaticamente le API integrate Vision di Apple. Queste API potrebbero inviare dati analitici ad Apple. I dati analitici possono includere dettagli sulle specifiche dell'hardware e del sistema operativo, statistiche sulle prestazioni e dati sull'utilizzo dei dispositivi e delle applicazioni. È possibile consultare queste informazioni nelle impostazioni di privacy e sicurezza del proprio dispositivo iOS. Queste informazioni vengono utilizzate per consentire ad Apple di migliorare e sviluppare i suoi prodotti e servizi. Nessuna delle informazioni raccolte viene utilizzata per identificare l'utente personalmente. I dati personali non vengono registrati, sono soggetti a tecniche di tutela della privacy come la privacy differenziale o vengono rimossi da qualsiasi report prima di essere inviati ad Apple. Per ulteriori informazioni, consultare Analisi e privacy del dispositivo e Dati e privacy sul sito Web di Apple.

Per maggiori informazioni, consultare Preparare gli assistenti smart.

Modelli

L'app da campo Survey123 supporta i modelli TensorFlow Lite nei file .tflite. I modelli devono essere accompagnati da un file .emd o .txt contenente le informazioni sul tipo di modello e sulle classi di oggetti per il quale è addestrato a riconoscere, incluse le etichette per ciascuna classe. L'app da campo Survey123 supporta due tipi di modelli di apprendimento automatico:

• Riconoscimento degli oggetti: viene addestrato un modello di riconoscimento degli oggetti per rilevare la presenza e la posizione di più classi di oggetti in un'immagine, ciascuna con un'etichetta associata. Per maggiori informazioni, consultare Riconoscimento degli oggetti.
• Classificazione delle immagini: viene addestrato un modello di classificazione delle immagini per riconoscere diverse classi di immagini, ciascuna con un'etichetta associata. L'output consiste in una probabilità che l'immagine rappresenti una delle etichette nel modello. Per maggiori informazioni, consultare Classificazione delle immagini. Questi modelli sono più adatti alle applicazioni in cui è presente un oggetto target in ciascuna immagine.

Suggerimento:

Il pacchetto di apprendimento profondo Common Object Detection in ArcGIS Living Atlas of the World è un modello di riconoscimento degli oggetti TensorFlow Lite addestrato sul dataset Common Objects in Context (COCO). È in grado di rilevare 80 oggetti comuni, inclusi persone, animali, prodotti alimentari, veicoli e oggetti di arredamento. Sebbene non sia consigliabile utilizzare questo modello nei sondaggi sulla produzione, può essere utile a scopo dimostrativo e per i primi passi con gli assistenti intelligenti. Per ulteriori informazioni, consultare Introduzione al modello.

Creazione di un modello

È possibile creare modelli per la classificazione di immagini e per il riconoscimento di oggetti in base alle proprie esigenze. I modelli vengono addestrati su una raccolta di immagini etichettate con caselle di contorno per identificare la posizione di ogni oggetto nell'immagine. Addestrare un modello può essere dispendioso in termini di tempo e risorse. La precisione e le prestazioni di un modello dipendono dal numero di immagini utilizzate per addestrarlo e l'idoneità di tali immagini.

È possibile creare modelli per la classificazione di immagini usando strumenti ArcGIS. Seguire la procedura nel tutorial Addestrare un modello per identificare i segnali stradali per creare un modello di classificazione immagini. Il tutorial dimostra come utilizzare Survey123 per acquisire una raccolta rappresentativa di immagini per l'addestramento, addestrare un modello utilizzando ArcGIS Notebooks e utilizzare il modello nell'app da campo Survey123 per classificare nuove immagini.