Os assistentes inteligentes aumentam os fluxos de trabalho de coleta de dados de campo, transformando a câmera do dispositivo móvel em uma ferramenta que pode reconhecer objetos relevantes para o fluxo de trabalho em questão. Essa tecnologia pode ser usada para proteger a privacidade das pessoas, ajudando os usuários a revisar informações de identificação pessoal. Também pode tornar a coleta de dados mais eficiente e menos propensa a erros. Com assistentes inteligentes, os usuários têm a palavra final sobre as modificações realizadas nas imagens e os dados enviados.
Os assistentes inteligentes podem ser configurados para perguntas de imagem em pesquisas. Há três maneiras de usar assistentes inteligentes noSurvey123 field app, que estão listadas abaixo. Cada assistente pode ser usado com fotos tiradas com a câmera no aplicativo ou com fotos selecionadas no aplicativo do sistema de arquivos.
- Atributos inteligentes—Execute a classificação de imagens ou detecção de objetos e exiba uma visualização em tempo real dos atributos durante a captura da imagem. Na captura, os atributos são armazenados nos metadados EXIF da imagem e podem ser extraídos e usados para preencher outras perguntas na pesquisa.
- Anotação inteligente—Use a detecção de objetos para gerar gráficos de anotação em uma imagem que um usuário pode editar usando ferramentas de anotação.
- Revisão inteligente—Use a detecção de objetos para gerar caixas delimitadoras em torno dos objetos de destino; em seguida, aplique efeitos para revisar essas regiões.
Atributos inteligentes
Os atributos inteligentes permitem associar uma pergunta de imagem a um modelo de detecção de objeto ou classificação de imagem e extrair valores com base nos objetos que o modelo detecta na imagem. Com o uso de atributos inteligentes para auxiliar na análise da imagem, é possível automatizar o processo de identificação e categorização dos assuntos contidos na imagem, além de reduzir o risco de erros ou inconsistências no processo de análise.
Por exemplo, você tira uma foto de uma estrada e usa atributos inteligentes para identificar e analisar diferentes tipos de bueiros na foto. Você pode usar a função pulldata("@json") para ler os resultados da detecção nos metadados EXIF da imagem.
Os resultados da detecção variam dependendo do tipo de modelo. Os modelos de detecção de objetos mostram todos os itens identificados com caixas delimitadoras na visualização da câmera. Os modelos de classificação de imagem mostram a classe identificada na parte inferior da visualização da imagem. Os valores são gravados nos metadados EXIF da imagem quando a imagem é capturada.
Para obter mais informações, consulte Adicionar atributos inteligentes a uma pesquisa.
Anotação inteligente
A anotação inteligente aumenta as ferramentas de anotação da imagem no Survey123 ao anotar automaticamente os objetos detectados na imagem. Os resultados da detecção são adicionados à tela de anotação após você tira uma foto ou adicionar uma imagem de armazenamento do dispositivo. Você pode editar as caixas delimitadoras e rótulos na tela e adicionar anotações. Para obter mais informações sobre a tela de anotação, consulte Desenhar e anotar. Você também pode criar paletas de anotação personalizadas para aplicar simbologia específica para cada classe em um modelo de detecção de objeto. Para obter mais informações, consulte Paletas de desenhar e anotar.
Por exemplo, a anotação inteligente pode ser usada em uma cena de rua onde você deseja rotular e anotar os veículos na imagem. Essa anotação inteligente exigiria um modelo de detecção de objetos treinado para detectar diferentes tipos de veículos. A imagem anotada pode ser útil para uma variedade de aplicações, como análise de tráfego, gerenciamento de estacionamento e planejamento urbano. Usando a anotação inteligente para anotar automaticamente a imagem, você pode economizar tempo e esforço em comparação com a anotação manual e reduzir o risco de erros ou inconsistências no processo de rotulagem.
Para obter mais informações, consulte Adicionar anotações inteligentes a uma pesquisa.
Revisão inteligente
A revisão permite que usuários ocultem informações confidenciais em imagens, como rostos de pessoas. O Survey123 oferece suporte à revisão manual, permitindo que os usuários selecionem manualmente as regiões de uma imagem antes que a imagem seja salva e enviada com a pesquisa. Alternativamente, você pode usar a revisão inteligente para redigir imagens.
Os efeitos de edição incluem desfoque, bloqueio, pixelização e símbolo.
Para obter mais informações, consulte Adicionar revisão inteligente a uma pesquisa.
Aprendizagem automática
Assistentes inteligentes no Survey123 field app usam modelos de aprendizagem automática treinados para detectar padrões em imagens. Como os modelos são baixados com pesquisas ou acessados por meio de APIs integradas, os assistentes inteligentes funcionam quando seu dispositivo está online ou offline, e todo o processamento de imagem ocorre no dispositivo.
Anotação:
O Survey123 permite usar APIs integradas ao aplicativo de campo ou ao sistema operacional do seu dispositivo que fornecem acesso a modelos de detecção de objetos de terceiros treinados usando aprendizagem detalhada. Você também pode treinar seus próprios modelos. Você é responsável pelo uso desses modelos. Ao usar Survey123, é sua responsabilidade revisar as saídas e, no caso de edição de imagem, corrigir manualmente qualquer informação que possa ter sido perdida pela revisão automática.
Você pode usar essa tecnologia no Survey123 das seguintes maneiras:
- Fornecer um modelo TensorFlow Lite na pasta de mídia da pesquisa. Este método é suportado no Android, iOS, e Windows para todos os assistentes inteligentes. Você pode criar modelos TensorFlow Lite para detectar classes de objeto para seu caso de uso específico. Alternativamente, baixe o pacote de aprendizagem detalhada Detecção de Objetos Comuns para usar como ponto de partida. Para obter mais informações, consulte a seção Modelos abaixo.
- Apenas para revisão inteligente, você pode usar APIs integradas para revisar rostos em imagens. Com este método, você não precisa fornecer um arquivo de modelo. O Survey123 suporta duas tecnologias integradas:
- O Google ML Kit está integrado ao aplicativo de campo Survey123 e suportado no Android e iOS. Google ML Kit fornece a experiência de redação inteligente mais rápida e precisa no aplicativo de campo. Para usar esta tecnologia, os recursos avançados da câmera devem estar habilitados no aplicativo de campo. Os usuários podem ativar recursos avançados de câmera clicando em Configurações > Privacidade e Segurança. Os administradores da organização também podem ativar ou desativar esses recursos para todos os usuários do aplicativo de campo. Para mais informações, consulte Configurações da organização.
- Para iOS, você pode habilitar a API Vision integrada da Apple para detecção facial especificando a propriedade engine=vision com o parâmetro redaction. Essa API está integrada ao sistema operacional iOS.
- Você pode usar APIs integradas para aumentar a precisão e o desempenho da leitura do código de barras noAndroid e iOS. Isso se aplica a perguntas de código de barras em pesquisas e ao leitor de código de barras na galeria de pesquisas. Para mais informações, consulte Código de barras.
Aviso:
Recursos melhorados da câmera usam Google ML Kit. Quando você ativa os recursos melhorados da câmera no aplicativo de campo, as estatísticas de uso podem ser enviadas ao Google para medir o desempenho, depurar, manter e melhorar os produtos, e detectar uso indevido ou abuso. O processamento da imagem ocorre inteiramente no dispositivo e nenhuma imagem é enviada aos servidores do Google. Para mais informações, consulteGoogle ML Kit Termos & Privacidade no site da web de desenvolvedores do Google.
No iOS, leitura de código de barras e pesquisas que incluem a propriedade engine=vision para revisão inteligente, usam automaticamente APIs Vision integradas da Apple. Essas APIs podem enviar dados analíticos paraApple. Os dados analíticos podem incluir detalhes sobre especificações de hardware e sistema operacional, estatísticas de desempenho e dados sobre como você usa seus dispositivos e aplicativos. Você pode revisar essas informações nas configurações de privacidade e segurança do seu dispositivo iOS. Essas informações são usadas para ajudar a Apple a melhorar e desenvolver seus produtos e serviços. Nenhuma das informações coletadas o identifica pessoalmente. Os dados pessoais não são registrados, estão sujeitos a técnicas de preservação de privacidade, como privacidade diferencial, ou são removidos de quaisquer relatórios antes de serem enviados para Apple. Para obter mais informações, consulte Análise e Privacidade do Dispositivo e Dados e Privacidade no site da Apple.
Para mais informações, consulte Preparar assistentes inteligentes.
Modelos
O Survey123 field app suporta modelosTensorFlow Lite em arquivos .tflite. Os modelos devem ser acompanhados de um arquivo .emd ou arquivo .txt contendo informações sobre o tipo de modelo e as classes de objetos que ele é treinado para detectar, incluindo os rótulos da cada classe. O Survey123 field app suporta dois tipos de modelos de aprendizagem automática:
- Detecção de objetos—Um modelo de detecção de objetos é treinado para detectar a presença e a localização de várias classes de objetos em uma imagem, cada uma com um rótulo associado. Para obter mais informações, consulte Detecção de objetos.
- Classificação de imagem—Um modelo de classificação de imagem é treinado para reconhecer várias classes de imagens, cada uma com um rótulo associado. A saída é uma probabilidade da imagem representar um dos rótulos no modelo. Para mais informações, consulte Classificação de imagem. Esses modelos são mais adequados para aplicações em que há um objeto de destino em cada imagem.
Dica:
O pacote de aprendizagem detalhada Detecção de Objetos Comuns no ArcGIS Living Atlas of the World é um modelo de detecção de objeto treinado TensorFlow Lite em Objetos Comuns no conjunto de dados Contexto (COCO). Ele pode detectar 80 objetos comuns, incluindo pessoas, animais, alimentos, veículos e utensílios domésticos. Embora não seja recomendado usar este modelo em pesquisas de produção, ele pode ser útil para fins de demonstração e para começar a usar assistentes inteligentes. Para mais informações, consulte Introdução ao modelo.
Criação de modelo
Você pode criar modelos de classificação de imagens e detecção de objetos para atender às suas necessidades. Os modelos são treinados em uma coleção de imagens rotuladas com caixas delimitadoras para identificar a localização de cada objeto na imagem. O treinamento de um modelo pode consumir muito tempo e recursos. A precisão e o desempenho de um modelo dependem do número de imagens usadas para treiná-lo e da adequação dessas imagens.
Você pode criar modelos de classificação de imagem usando ferramentas do ArcGIS. Siga as etapas no tutorial Treinar um modelo para identificar placas de rua para criar um modelo de classificação de imagem. O tutorial demonstra como usar Survey123 para capturar uma coleção representativa de imagens de treinamento, treinar um modelo usando ArcGIS Notebooks e usar o modelo noSurvey123 field app para classificar novas imagens.