Умные помощники расширяют рабочие процессы сбора данных на местах, превращая камеру мобильного устройства в инструмент, способный распознавать объекты, имеющие отношение к текущему рабочему процессу. Эта технология может использоваться для защиты конфиденциальности людей, помогая пользователям редактировать идентифицирующую личность информацию. Она помогает сделать сбор данных более эффективным и безошибочным. С помощью умных помощников пользователи могут принимать окончательное решение об изменениях, вносимых в изображения, и о передаваемых данных.
Умных помощников можно настроить для вопросов-изображений в опросах. Существует три способа использования умных помощников в полевом приложении Survey123; эти способы перечислены ниже. Любого помощника можно использовать как с фотографиями, сделанными с помощью камеры в приложении, так и с фотографиями, выбранными в приложении из файловой системы.
- Умные атрибуты - выполняют классификацию изображений или обнаружение объектов с возможностью предварительного просмотра атрибутов в режиме реального времени в ходе съемки. При съемке атрибуты сохраняются в метаданных EXIF изображения, а затем их можно извлечь и использовать для заполнения других вопросов в опросе.
- Умная аннотация - использует обнаружение объектов для создания графических аннотаций на изображении, которые пользователь может редактировать с помощью инструментов аннотаций.
- Умная редактура - использует обнаружение объектов для создания ограничивающих рамок вокруг целевых объектов; затем применяет эффекты для скрытия этих областей.
Умные атрибуты
Умные атрибуты позволяют связывать вопрос-изображение с моделью обнаружения объектов или с моделью классификации изображений и получать значения в зависимости от того, какие объекты эта модель обнаружит на изображении. Анализируя изображения с помощью умных атрибутов, вы можете автоматизировать процесс идентификации объектов, содержащихся на изображении, и их разбивки по категориям, а также снизить риск ошибок или несоответствий.
Например, вы можете сфотографировать дорогу и использовать умные атрибуты для идентификации и анализа различных типов канализационных люков на этой фотографии. Вы можете использовать функцию pulldata("@json") для считывания результатов обнаружения в метаданных EXIF этого изображения.
Результаты обнаружения будут различаться в зависимости от типа модели. В моделях обнаружения объектов в режиме предварительного просмотра отображаются все элементы, которые выделены ограничивающими рамками. В моделях классификации изображений отображается класс, указанный в нижней части предварительного просмотра изображения. При получении изображения значения записываются в метаданные EXIF соответствующего изображения.
Более подробную информацию см. в разделе Добавление умных атрибутов в опрос.
Умная аннотация
Умная аннотация дополняет инструменты аннотаций изображений в Survey123, автоматически добавляя аннотации для объектов, обнаруженных на изображении. После того, как вы сделаете снимок или добавите изображение из хранилища устройства, результаты обнаружения будут добавлены на панель аннотаций. Вы можете изменить ограничивающие рамки и надписи на панели и добавить аннотацию. Более подробно о панели аннотаций см. в разделе Рисование и аннотации. Вы также можете создавать собственные панели аннотаций, чтобы для каждого класса в модели обнаружения объектов применять определенные символы. Дополнительные сведения см. в разделе Палитры инструментов рисования и аннотаций.
Например, умную аннотацию можно использовать в сцене улицы, когда вы хотите отметить транспортные средства на изображении и снабдить их аннотациями. Для этой умной аннотации потребовалась бы модель обнаружения объектов, обученная обнаруживать различные типы транспортных средств. Изображение с аннотациями может оказаться полезным для разных приложений, например, для анализа дорожного движения, управления парковкой и городского планирования. Используя умные аннотации для автоматического оформления аннотации изображения, вы не только экономите время и усилия по сравнению с ручным способом, но и снижаете риск ошибок или несоответствий в процессе нанесения надписей.
Более подробную информацию см. в разделе Добавление умной аннотации в опрос.
Умная редактура
Редактура позволяет пользователям скрывать конфиденциальную информацию на изображениях, например лица людей. Survey123 поддерживает ручную редактуру, позволяя пользователям вручную выбирать области изображения перед тем, как сохранить это изображение и отправить с опросом. Кроме того, умную редактуру можно использовать для редактирования изображений.
К эффектам редактуры относятся размытие, блокинг, пикселизация и символ.
Более подробную информацию см. в разделе Добавление умной редактуры в опрос.
Машинное обучение
Умные помощники в полевом приложении Survey123 используют модели машинного обучения, которые обучены обнаруживать закономерности на изображениях. Поскольку модели загружаются вместе с опросами или используются через встроенные API-интерфейсы, умные помощники работают как через интернет, так и автономно, и вся обработка изображений происходит на самом устройстве.
Примечание:
Survey123 позволяет использовать API, встроенные в полевое приложение или операционную систему устройства, которые предоставляют доступ к сторонним моделям обнаружения объектов, обученным с помощью глубокого обучения. Вы также можете обучить свои собственные модели. За использование этих моделей отвечает пользователь. При использовании Survey123 вы сами отвечаете за просмотр выходных результатов и, в случае редактуры изображений, вручную исправляете любую информацию, которая может быть пропущена при использовании редактуры в автоматическом режиме.
Эта технология может использоваться в Survey123 следующими способами:
- Указать модель TensorFlow Lite в медиа-папке опроса. Этот метод поддерживается на Android, iOS и Windows для всех умных помощников. Вы можете создавать модели TensorFlow Lite для обнаружения классов объектов для вашего конкретного случая использования. Как вариант, можно загрузить пакет глубокого обучения Common Object Detection для использования в качестве отправной точки. Более подробную информацию см. ниже в разделе Модели.
- С помощью умной редактуры вы можете использовать встроенные API-интерфейсы для удаления лиц на изображениях. Используя этот метод, не требуется указывать файл модели. Survey123 поддерживает две встроенные технологии:
- Google ML Kit встроен в полевое приложение Survey123 и поддерживается в Android и iOS. Google ML Kit обеспечивает самое быструю и точную умную редактуру в полевом приложении. Чтобы использовать эту технологию, в полевом приложении необходимо включить расширенные функции камеры. Пользователи могут включить расширенные функции камеры, выбрав Настройки > Конфиденциальность и безопасность. Администраторы организации также могут включать или отключать эти функции для всех пользователей полевых приложений. Дополнительные сведения см. в разделе Настройки организации.
- В iOS от Apple вы можете включить встроенный API Vision для распознавания лиц, указав свойство engine=vision с параметром redaction. Этот API встроен в операционную систему iOS.
- Вы можете использовать встроенные API для повышения точности и производительности сканирования штрих-кодов на Android и iOS. Это относится к вопросам со штрих-кодом в опросах и сканеру штрих-кодов в галерее опросов. Дополнительную информацию см. в разделе Штрих-коды.
Внимание:
Расширенные функции камеры используют Google ML Kit. Когда вы включаете расширенные функции камеры в этом полевом приложении, статистические данные об использовании приложения могут отправляться в Google для оценки производительности, отладки, технического сопровождения и усовершенствования продуктов, а также для выявления случаев некорректного использования. Обработка изображений происходит полностью на устройстве, и никакие изображения на серверы Google не передаются. Более подробно см. Google ML Kit Terms & Privacy на веб-сайте разработчиков Google.
На iOS сканирование штрих-кодов и опросы, включающие свойство engine=vision для умной редактуры, автоматически используют встроенные в Apple API-интерфейсы Vision. Эти API могут отправлять аналитические данные в Apple. Аналитические данные могут включать подробную информацию о технических характеристиках аппаратного обеспечения и операционной системы, статистику производительности и данные о том, как вы используете свои устройства и приложения. Вы можете просмотреть эту информацию в настройках конфиденциальности и безопасности на своем устройстве iOS. Эта информация используется для совершенствования и дальнейшего развития продуктов и услуг Apple. Собираемая информация не позволяет идентифицировать вас лично. Персональные данные не заносятся в журнал, на них либо распространяются технологии соблюдения конфиденциальности, такие как дифференцированная конфиденциальность, либо они удаляются из любых отчетов перед отправкой в Apple. Дополнительные сведения см. в разделах Аналитика и защита данных на устройствах и Данные и конфиденциальность на веб-сайте Apple.
Дополнительные сведения см. в разделе Подготовка умных помощников.
Модели
Полевое приложение Survey123 поддерживает модели TensorFlow Lite в файлах .tflite. Модели должны сопровождаться файлом .emd или файлом .txt, содержащим информацию о типе модели и классах объектов, для обнаружения которых она обучена, включая надписи для каждого класса. Полевое приложение Survey123 поддерживает два типа моделей машинного обучения:
- Обнаружение объектов - модель обнаружения объектов обучена обнаруживать присутствие и местоположение нескольких классов объектов на изображении, с каждым из которых связана соответствующая надпись. Более подробно см. в разделе Обнаружение объектов.
- Классификация изображений - модель классификации изображений обучена распознавать различные классы изображений, с каждым из которых связана соответствующая надпись. Результатом является вероятность того, что изображение будет соответствовать одной из надписей в модели. Более подробно см. раздел Классификация изображений. Эти модели лучше всего подходят для приложений, в которых на каждое изображение приходится один целевой объект.
Подсказка:
Пакет глубокого обучения Common Object Detection в ArcGIS Living Atlas of the World представляет собой модель обнаружения объектов TensorFlow Lite, обученную на наборе данных Common Objects in Context (COCO). Он может обнаруживать 80 обычных объектов, включая людей, животных, продукты питания, транспортные средства и предметы домашнего обихода. Несмотря на то, что эту модель не рекомендуется использовать при проведении производственных опросов, она может быть полезна в демонстрационных целях и для начала работы с умными помощниками. Дополнительные сведения см. в разделе Введение в модель.
Создание моделей
Вы можете создавать модели классификации изображений и обнаружения объектов с учетом ваших требований. Модели обучаются на наборе изображений, которые обозначены ограничивающими рамками, позволяющими определить местоположение каждого объекта на изображении. Обучение модели может занять немало времени и ресурсов. Точность и производительность модели зависят от количества изображений, используемых для ее обучения, а также от пригодности этих изображений.
Для создания моделей классификации изображений могут использоваться инструменты ArcGIS. Чтобы создать модель классификации изображений, выполните действия, описанные в руководстве Обучение модели для распознавания дорожных знаков. В руководстве показывается, как использовать Survey123 для получения репрезентативной коллекции обучающих изображений, как обучить модель с помощью ArcGIS Notebooks, а также как использовать эту модель в полевом приложении Survey123 для классификации новых изображений.