智能助手可加强字段数据采集工作流，将移动设备照相机转换为可以识别与当前工作流相关的对象的工具。 此技术可用于协助用户涂黑个人可识别信息，以保护用户隐私。 还可以用于提高数据采集效率并降低出错概率。 借助智能助手，用户可最终确定对要提交的图像和数据所做的修改。
可以针对调查中的图像问题配置智能助手。 可通过三种方式在 Survey123 外业应用程序中使用智能助手，如下所示。 可以在每个智能助手中使用通过应用程序中的照相机拍摄的照片或匝应用程序中从文件系统选择的照片。
- 智能属性 - 执行图像分类或对象检测并显示图像采集期间属性的实时预览。 在进行采集时，属性存储在图像的 EXIF 元数据中，可进行提取并用于填充调查中的其他问题。
- 智能注记 - 使用对象检测在图像上生成注记图形，以供用户使用注记工具进行编辑。
- 智能涂黑 - 使用对象检测在目标对象周围生成边界框；然后应用效果以涂黑这些区域。
智能属性
可通过智能属性将图像问题与对象检测或图像分类模型相关联，然后基于模型在图像中检测到的对象提取值。 可使用智能属性协助分析图像，以自动执行识别图像中包含的主题并进行分类的过程，从而降低分析过程中出现错误或不一致的风险。
例如，您拍摄了一张道路照片并使用智能属性识别并分析照片中不同类型的检查井。 您可以使用 pulldata("@json") 函数读取图像 EXIF 元数据中的检测结果。
检测结果取决于模型类型。 对象检测模型显示使用边界框在照相机预览中识别的所有项目。 图像分类模型显示在图像预览底部识别的分类。 值在采集图像时写入图像 EXIF 元数据。
有关详细信息，请参阅将智能属性添加至调查。
智能注记
智能注记通过自动对在图像中检测到的对象进行注释，以增强 Survey123 中的图像注记工具。 在您拍摄照片或添加设备存储中的图像后，检测结果将添加至注记画布。 可以在画布中编辑边界框和标准并添加注记。 有关注记画布的详细信息，请参阅绘制和注释。 您还可以创建自定义注记工具栏，以针对对象检测模型中的每个分类应用特定符号系统。 有关详细信息，请参阅绘制和注记板。
例如，如果您想在街道场景中标注和注释图像中的车辆，则可以在该场景中使用智能注记。 此智能注记需要训练为检测不同类型车辆的对象检测模型。 已注释图像可用于各种应用，例如流量分析、停车管理和城市规划。 可使用智能注记自动注释图像，这与手动注释相比省时省力，同时降低标注过程中的错误或不一致风险。
有关详细信息，请参阅将智能注记添加至调查。
智能涂黑
用户可通过涂黑遮盖图像中的敏感信息，例如人脸。 Survey123 支持手动涂黑，从而允许用户先手动选择图像区域，然后在调查中保存和提交图像。 或者，您可以使用智能涂黑在图像中进行涂黑。
涂黑效果包括模糊、遮挡、像素化和符号化。
有关详细信息，请参阅将智能涂黑添加至调查。
Machine learning
Survey123 外业应用程序中的智能助手使用机器学习模型，这些模型经过训练可检测图像中的模式。 由于模型与调查一起下载或通过内置 API 进行访问，因此智能助手在设备在线或离线时均正常工作，所有图像处理均在设备上进行。
注：
Survey123 允许您使用外业应用程序或设备操作系统中内置的 API，来访问使用深度学习训练的第三方对象检测模型。 您还可以训练您自己的模型。 您对这些模型的用法负责。 使用 Survey123 时，您负责检查输出并在进行图像涂黑时，手动纠正自动涂黑可能漏掉的任何信息。
可通过以下方式在 Survey123 中使用此技术：
- 在调查媒体文件夹中提供 TensorFlow Lite 模型。 在 Android、iOS 和 Windows 上，此方法适用于所有智能助手。 您可以创建 TensorFlow Lite 模型检测特定用例的对象分类。 或者，下载常见对象检测深度学习包开始操作。 有关详细信息，请参阅下面的“模型”一节。
- 仅针对智能涂黑，可以使用内置 API 涂黑图像中的各个面。 使用此方法时，无需提供模型文件。 Survey123 支持两种内置技术：
- Google ML Kit 已内置到 Survey123 外业应用程序中并且适用于 Android 和 iOS。Google ML Kit 可在外业应用程序中实现最快速、最准确的智能涂黑体验。要使用此技术，必须在外业应用程序中启用增强的照相机功能。用户可以通过单击设置 > 隐私和安全来启用增强的照相机功能。 组织管理员也可以为所有外业应用程序用户启用或禁用这些功能。 有关详细信息，请参阅组织设置。
- 对于 iOS，可通过指定 engine=vision 属性与 redaction 参数启用 Apple 内置 Vision API 来检测面。 此 API 内置于 iOS 操作系统中。
- 可使用内置 API 提高 Android 和 iOS 上条形码扫描的精度和性能。 这适用于调查中的条形码问题以及调查库中的条形码扫描仪。 有关详细信息，请参阅条形码。
警告：
增强型照相机功能使用 Google ML Kit。 当您在外业应用程序中启用增强型照相机功能时，使用情况统计信息可能会发送给 Google 以衡量性能、调试、维护和改进产品以及检测误用或滥用。 影像处理完全在设备上进行，不会将影像发送到 Google 服务器。 有关详细信息，请参阅 Google 开发人员网站中的 Google ML Kit 条款和隐私。
在 iOS 中，包含用于智能涂黑的 engine=vision 属性的条形码扫描和调查将自动使用 Apple 内置 Vision API。 这些 API 可能将分析数据发送至 Apple。 分析数据可能包含有关硬件和操作系统规格的详细信息、性能统计数据以及有关您如何使用设备和应用程序的数据。 您可以在 iOS 设备的隐私和安全设置中查看此信息。 此信息用于帮助 Apple 改进和开发其产品和服务。 所有采集的信息均不会识别您的个人信息。 个人数据不会记录，并采用差分隐私等隐私保护技术，或在发送到 Apple 之前从任何报告中移除。 有关详细信息，请参阅 Apple 网站中的设备分析和隐私以及数据和隐私。
有关详细信息，请参阅准备智能助手。
模型
Survey123 外业应用程序支持 .tflite 文件中的 TensorFlow Lite 模型。 模型必须随附 .emd 文件或 .txt 文件，其中包含有关模型类型及其训练检测的对象分类，包括每个分类的标注。 Survey123 外业应用程序支持两种类型的机器学习模型：
- 对象检测 - 对象检测模型经过训练，可检测图像中是否存在多个对象分类及其位置，每个分类都具有关联的标注。 有关详细信息，请参阅对象检测。
- 图像分类 - 图像分类模型经过训练，可识别各种图像分类，每个分类都具有关联标注。 将输出表示模型中的标注之一的图像概率。 有关详细信息，请参阅图像分类。 这些模型非常适合每个图像中有一个目标对象的应用。
提示：
ArcGIS Living Atlas of the World 中的常见对象检测深度学习包为根据上下文中的常见对象 (COCO) 数据集训练的 TensorFlow Lite 对象检测模型。 它可以检测 80 个常见对象，包括人、动物、食品、车辆和家居用品。 建议不要将此模型用于生产调查，但是可以用于演示目的和开始使用智能助手。 有关详细信息，请参阅模型简介。
模型创建
您可以根据需求创建图像分类和对象检测模型。 模型根据一系列的图像进行训练，这些图像使用边界框进行标注，以识别每个对象在图像中的位置。 训练模型可能需要大量时间和资源。 模型的精度和性能取决于用于训练它的图像数以及这些图像的适宜性。
可以使用 ArcGIS 工具创建图像分类模型。 按照训练模型识别街道符号教程中的步骤创建图像分类模型。 该教程演示了如何使用 Survey123 采集一系列代表性训练图像，使用 ArcGIS Notebooks 训练模型以及使用 Survey123 外业应用程序中的模型对新图像进行分类。