Los asistentes inteligentes aumentan los flujos de trabajo de recolección de datos de campo, transformando la cámara del dispositivo móvil en una herramienta que puede reconocer objetos relevantes para el flujo de trabajo en cuestión. Esta tecnología se puede utilizar para proteger la privacidad de las personas al ayudar a los usuarios a editar información de identificación personal. También puede hacer que la recopilación de datos sea más eficiente y menos propensa a errores. Con los asistentes inteligentes, los usuarios tienen la última palabra sobre las modificaciones realizadas en las imágenes y los datos que se envían.
Los asistentes inteligentes se pueden configurar para preguntas de imagen en encuestas. Hay tres formas de utilizar los asistentes inteligentes en la aplicación de campo Survey123, enumeradas a continuación. Todos los asistentes se pueden utilizar con fotos tomadas con la cámara de la aplicación o con fotos seleccionadas en la aplicación desde el sistema de archivos.
- Atributos inteligentes: realice la clasificación de imágenes o la detección de objetos y muestre una vista previa en tiempo real de los atributos durante la captura de imágenes. En la captura, los atributos se almacenan en los metadatos EXIF de la imagen y se pueden extraer y usar para completar otras preguntas en la encuesta.
- Anotación inteligente: use la detección de objetos para generar gráficos de anotación en una imagen que un usuario pueda editar con herramientas de anotación.
- Edición inteligente: utilice la detección de objetos para generar cuadros delimitadores alrededor de los objetos de destino; a continuación, aplique efectos para editar esas áreas.
Atributos inteligentes
Los atributos inteligentes le permiten asociar una pregunta de imagen con un modelo de detección de objetos o clasificación de imágenes y extraer valores en función de los objetos que el modelo detecta en la imagen. Usar atributos inteligentes para ayudar en el análisis de la imagen le permite automatizar el proceso de identificación y categorización de los temas contenidos en la imagen y reducir el riesgo de errores o inconsistencias en el proceso de análisis.
Por ejemplo, puede tomar una foto de una carretera y usar los atributos inteligentes para identificar y analizar diferentes tipos de alcantarillas en la foto. Puede usar la función pulldata("@json") para leer los resultados de la detección en los metadatos EXIF de la imagen.
Los resultados de la detección variarán según el tipo de modelo. Los modelos de detección de objetos muestran todos los elementos identificados con cuadros delimitadores en la vista previa de la cámara. Los modelos de clasificación de imágenes muestran la clase identificada en la parte inferior de la vista previa de la imagen. Los valores se escriben en los metadatos EXIF de la imagen en el momento de la captura.
Para obtener más información, consulte Agregar atributos inteligentes a una encuesta.
Anotación inteligente
La anotación inteligente aumenta las herramientas de anotación de imágenes de Survey123 al anotar automáticamente los objetos detectados en la imagen. Los resultados de la detección se agregan al lienzo de anotaciones después de tomar una foto o de agregar una imagen desde el almacenamiento del dispositivo. Puede editar los cuadros delimitadores y las etiquetas en el lienzo y agregar anotaciones. Para obtener más información sobre el lienzo de anotaciones, consulte Dibujar y anotar. También puede crear paletas de anotaciones personalizadas para aplicar una simbología específica para cada clase en un modelo de detección de objetos. Para obtener más información, consulte Paletas de dibujo y anotación.
Como ejemplo, la anotación inteligente se puede usar en una escena callejera en la que desea etiquetar y anotar los vehículos presentes en la imagen. Esta anotación inteligente requeriría un modelo de detección de objetos entrenado para detectar diferentes tipos de vehículos. La imagen anotada podría ser útil para varias aplicaciones, como el análisis de tráfico, la gestión del estacionamiento y la planificación urbanística. Usar la anotación inteligente para anotar automáticamente la imagen le permite ahorrar tiempo y esfuerzo en comparación con la anotación manual, así como reducir el riesgo de errores o inconsistencias en el proceso de etiquetado.
Para obtener más información, consulte Agregar anotación inteligente a una encuesta.
Edición inteligente
La edición permite a los usuarios ocultar información confidencial en las imágenes, como los rostros de las personas. Survey123 admite la edición manual, lo que permite a los usuarios seleccionar manualmente áreas de una imagen antes de guardarla y enviarla con la encuesta. También puede usar la edición inteligente para editar imágenes.
Los efectos de edición incluyen desenfoque, boceto, pixelado y símbolo.
Para obtener más información, consulte Agregar edición inteligente a una encuesta.
Machine learning
Los asistentes inteligentes de la aplicación de campo Survey123 usan modelos de aprendizaje automático entrenados para detectar patrones en las imágenes. Dado que los modelos se descargan con encuestas o se accede a ellos a través de API integradas, los asistentes inteligentes funcionan cuando su dispositivo está en línea o fuera de línea, y todo el procesamiento de imágenes ocurre en el dispositivo.
Nota:
Survey123 le permite usar API integradas en la aplicación de campo o en el sistema operativo de su dispositivo para brindar acceso a modelos de detección de objetos de terceros entrenados con aprendizaje profundo. También puede entrenar sus propios modelos. Usted es responsable del uso de estos modelos. Al usar Survey123, es su responsabilidad revisar los resultados y, en el caso de la edición de imágenes, corregir manualmente cualquier información que la edición automática pueda pasar por alto.
Puede utilizar esta tecnología en Survey123 de las siguientes formas:
- Proporcione un modelo de TensorFlow Lite en la carpeta de medios de la encuesta. Este método es compatible con Android, iOS y Windows para todos los asistentes inteligentes. Puede crear modelos de TensorFlow Lite para detectar clases de objetos para su caso de uso específico. Como alternativa, descargue el paquete de aprendizaje profundo Detección de objetos comunes para usarlo como punto de partida. Para obtener más información, consulte la sección Modelos a continuación.
- Solo para la edición inteligente, puede usar las API integradas para editar rostros en imágenes. Con este método, no necesita proporcionar un archivo de modelo. Survey123 admite dos tecnologías integradas:
- Google ML Kit está integrado en la aplicación de campo Survey123 y es compatible con Android y iOS. Google ML Kit proporciona la experiencia de edición inteligente más rápida y precisa en la aplicación de campo. Para utilizar esta tecnología, las entidades de cámara avanzadas deben habilitarse en la aplicación de campo. Los usuarios pueden habilitar estas entidades haciendo clic en Configuración > Privacidad y seguridad. Los administradores de la organización también pueden habilitar o deshabilitar estas entidades correspondientes a todos los usuarios de la aplicación de campo. Para obtener más información, consulte Configuración de la organización.
- Para iOS, puede habilitar la API Vision integrada de Apple para la detección de rostros especificando la propiedad engine=vision con el parámetro redaction. Esta API está integrada en el sistema operativo iOS.
- Puede usar las API integradas para aumentar la precisión y el rendimiento del escaneo de códigos de barras en Android y iOS. Esto se aplica a las preguntas de código de barras de las encuestas y al escáner de código de barras de la galería de encuestas. Para obtener más información, consulte Códigos de barras.
Precaución:
Las funciones de cámara mejoradas utilizan Google ML Kit. Al habilitar las funciones de cámara mejoradas en la aplicación de campo Google, es posible que se envíen estadísticas de uso para medir el rendimiento, depurar, mantener y mejorar los productos y detectar un abuso o uso indebido. Todo el procesamiento de imágenes ocurre en el dispositivo, y no se envían imágenes a los servidores de Google. Para obtener más información, consulte los Términos de uso y privacidad de Google ML Kit en el sitio web de desarrollador de Google.
En iOS, el escaneo de códigos de barras y las encuestas que incluyen la propiedad engine=vision de edición inteligente usan automáticamente API Vision integradas de Apple. Estas API pueden enviar datos de análisis a Apple. Los datos de análisis pueden incluir detalles sobre el hardware y las especificaciones del sistema operativo, estadísticas de rendimiento y datos sobre cómo usa sus dispositivos y aplicaciones. Puede revisar esta información en la configuración de privacidad y seguridad de su dispositivo iOS. Esta información se utiliza para ayudar a Apple a mejorar y a desarrollar sus productos y servicios. Ninguna información recopilada lo identifica personalmente. Los datos personales no se registran, están sujetos a técnicas de preservación de la privacidad, como la privacidad diferencial, o se eliminan de cualquier informe antes de enviarse a Apple. Para obtener más información, consulte Análisis y privacidad del dispositivo y Datos y privacidad en el sitio web de Apple.
Para obtener más información, consulte Preparación de los asistentes inteligentes.
Modelos
La aplicación de campo Survey123 admite modelos de TensorFlow Lite en archivos .tflite. Los modelos deben ir acompañados de un archivo .emd o de un archivo .txt que contenga información sobre el tipo de modelo y las clases de objetos que está entrenado para detectar, incluidas las etiquetas para cada clase. La aplicación de campo Survey123 admite dos tipos de modelos de aprendizaje automático:
- Detección de objetos: los modelos de detección de objetos se entrenan para detectar la presencia y la ubicación de varias clases de objetos en una imagen, cada uno con una etiqueta asociada. Para obtener más información, consulte Detección de objetos.
- Clasificación de imágenes: los modelos de clasificación de imágenes se entrenan para reconocer varias clases de imágenes, cada una con una etiqueta asociada. El resultado es una probabilidad de que la imagen represente una de las etiquetas del modelo. Para obtener más información, consulte Clasificación de imágenes. Estos modelos se adaptan mejor a las aplicaciones en las que hay un objeto de destino en cada imagen.
Sugerencia:
El paquete de aprendizaje profundo Detección de objetos comunes de ArcGIS Living Atlas of the World es un modelo de detección de objetos de TensorFlow Lite entrenado con el dataset de objetos comunes en contexto (COCO). Puede detectar 80 objetos comunes, incluidas personas, animales, alimentos, vehículos y artículos para el hogar. Si bien no se recomienda usar este modelo en encuestas de producción, puede ser útil para fines de demostración y para comenzar con los asistentes inteligentes. Para obtener más información, consulte Introducción al modelo.
Creación de modelos
Puede crear modelos de clasificación de imágenes y detección de objetos que se ajusten a sus requisitos. Los modelos se entrenan con una colección de imágenes que están etiquetadas con cuadros delimitadores para identificar la ubicación de cada objeto en la imagen. Entrenar a un modelo puede requerir mucho tiempo y recursos. La precisión y el rendimiento de un modelo dependen del número de imágenes utilizadas para entrenarlo y de la idoneidad de esas imágenes.
Puede crear modelos de clasificación de imágenes utilizando las herramientas de ArcGIS. Siga los pasos del tutorial Entrenar un modelo para identificar señales de tráfico para crear un modelo de clasificación de imágenes. El tutorial muestra cómo usar Survey123 para capturar una colección representativa de imágenes de entrenamiento, entrenar un modelo con ArcGIS Notebooks y usar el modelo en la aplicación de campo Survey123 para clasificar nuevas imágenes.