스마트 도우미는 모바일 기기 카메라를 진행 중인 워크플로와 관련된 객체를 인식할 수 있는 도구로 전환해 필드 데이터 수집 워크플로를 강화합니다. 이 기술은 사용자가 개인 식별 정보를 감추도록 지원하여 사람들의 개인정보를 보호하는 데 사용될 수 있습니다. 또한 데이터 수집의 효율성을 높이고 오류 취약성을 낮출 수도 있습니다. 스마트 도우미를 통해 사용자는 이미지 및 제출된 데이터에 가해진 수정에 대한 최종 결정권을 가질 수 있습니다.
현장조사의 이미지 질문에 대해 스마트 도우미를 구성할 수 있습니다. Survey123 현장 앱에서 스마트 도우미를 사용하는 방법에는 아래에 나열된 세 가지가 있습니다. 각 도우미는 앱에서 카메라로 촬영한 사진 또는 파일 시스템을 통해 앱에서 선택한 사진에 대해 사용할 수 있습니다.
- 스마트 속성 — 이미지 분류 또는 객체 감지를 수행하고 이미지 캡처 중에 속성의 실시간 미리 보기를 표시합니다. 캡처 시 이미지의 EXIF 메타데이터에 속성이 저장되며 이는 추출하여 현장조사의 다른 질문을 채우는 데 사용될 수 있습니다.
- 스마트 애노테이션 — 객체 감지를 사용하여 사용자가 애노테이션 도구를 사용하여 편집할 수 있는 이미지에 애노테이션 그래픽을 생성합니다.
- 스마트 가리기 — 객체 감지를 사용하여 대상 객체 주위에 경계 상자를 생성한 다음 해당 영역을 감추는 효과를 적용합니다.
스마트 속성
스마트 속성을 사용하면 이미지 질문을 객체 감지 또는 이미지 분류 모델과 연결하고 모델이 이미지에서 감지하는 객체를 기반으로 값을 추출할 수 있습니다. 스마트 속성을 사용하여 이미지 분석을 지원하면 이미지에 포함된 대상을 식별 및 분류하는 프로세스를 자동화하고 분석 프로세스에서 오류 또는 불일치가 발생할 위험을 줄일 수 있습니다.
예를 들어, 도로의 사진을 촬영하고 스마트 속성을 사용하여 사진에 있는 여러 유형의 맨홀을 식별 및 분석할 수 있습니다. pulldata("@json") 함수를 사용하여 이미지의 EXIF 메타데이터에서 감지 결과를 읽을 수 있습니다.
감지 결과는 모델 유형에 따라 달라집니다. 객체 감지 모델은 카메라 미리 보기에 경계 상자가 있는 것으로 식별된 모든 항목을 표시합니다. 이미지 분류 모델은 식별된 클래스를 이미지 미리 보기 하단에 표시합니다. 값은 이미지가 캡처될 때 이미지 EXIF 메타데이터에 작성됩니다.
자세한 내용은 현장조사에 스마트 속성 추가를 참고하세요.
스마트 애노테이션
스마트 애노테이션은 이미지에서 감지된 객체에 자동으로 애노테이트하여 Survey123의 이미지 애노테이션 도구를 강화합니다. 감지 결과는 사진을 촬영하거나 기기 저장소에서 이미지를 추가한 후 애노테이션 캔버스에 추가됩니다. 캔버스에서 경계 상자 및 레이블을 편집하고 애노테이션을 추가할 수 있습니다. 애노테이션 캔버스에 대한 자세한 정보는 그리기 및 애노테이트를 참고하세요. 또한 사용자 설정 애노테이션 팔레트를 생성하여 객체 감지 모델의 각 클래스에 특정 심볼을 적용할 수도 있습니다. 자세한 내용은 그리기 및 애노테이트 팔레트를 참고하세요.
예를 들어, 도로 씬에서 이미지에 있는 차량에 레이블을 지정하고 애노테이트하려는 경우 스마트 애노테이션을 사용할 수 있습니다. 이러한 스마트 애노테이션에는 여러 유형의 차량을 감지하도록 학습된 객체 감지 모델이 필요합니다. 애노테이트된 이미지는 교통 분석, 주차 관리, 도시 계획과 같은 다양한 응용 분야에서 유용하게 사용할 수 있습니다. 스마트 애노테이션을 사용하여 이미지를 자동으로 애노테이트하면 수동 애노테이션에 비해 시간과 노력을 절약하고, 레이블 지정 프로세스 중에 오류나 불일치가 발생할 위험을 줄일 수 있습니다.
자세한 내용은 현장조사에 스마트 애노테이션 추가를 참고하세요.
스마트 가리기
사용자는 가리기를 통해 이미지에서 사람 얼굴과 같은 민감한 정보를 숨길 수 있습니다. Survey123은 수동 가리기를 지원합니다. 따라서 이미지를 저장하고 현장조사와 함께 제출하기 전에 사용자가 이미지의 영역을 수동으로 선택할 수 있습니다. 또는 스마트 가리기를 사용하여 이미지를 감출 수 있습니다.
가리기 효과에는 흐리게, 감추기, 픽셀화, 심볼이 포함됩니다.
자세한 내용은 현장조사에 스마트 가리기 추가를 참고하세요.
머신 러닝
Survey123 현장 앱의 스마트 도우미는 이미지의 패턴을 탐지하도록 학습된 머신 러닝 모델을 사용합니다. 모델은 현장조사를 통해 다운로드하거나 빌트인 API를 통해 접근하므로, 스마트 도우미는 기기가 온라인 상태이든 오프라인 상태이든 모든 작동하며 모든 영상 프로세싱은 기기에서 이루어집니다.
비고:
Survey123을 통해, 딥러닝을 사용하여 학습된 서드 파티 객체 감지 모델에 대한 접근 권한을 제공하는 현장 앱이나 기기의 운영 체제에 빌트인된 API를 활용할 수 있습니다. 자체 모델을 학습시킬 수도 있습니다. 이러한 모델을 사용하는 데 따른 책임은 사용자에게 있습니다. Survey123 사용 시 결과를 검토하고 이미지를 감출 때 자동 가리기가 놓치는 정보를 수동으로 가리는 책임은 사용자에게 있습니다.
Survey123에서 다음과 같은 방법으로 이 기술을 사용할 수 있습니다.
- 현장조사의 미디어 폴더에 TensorFlow Lite 모델을 제공합니다. 이 방법은 Android, iOS, Windows에서 모든 스마트 도우미에 대해 지원됩니다. TensorFlow Lite 모델을 생성하여 특정 사용 사례를 위한 객체 클래스를 감지할 수 있습니다. 또는 일반적인 객체 감지 딥러닝 패키지를 다운로드하여 시작점으로 사용할 수 있습니다. 자세한 내용은 아래의 모델 섹션을 확인하세요.
- 스마트 가리기만 사용하는 경우, 빌트인 API를 사용하여 이미지에서 얼굴을 감출 수 있습니다. 이 방법을 사용하면 모델 파일을 제공할 필요가 없습니다. Survey123은 두 가지 빌트인 기술을 지원합니다.
- Google ML Kit는 Survey123 현장 앱에 빌트인되어 있으며 Android 및 iOS에서 지원됩니다. Google ML Kit는 가장 빠르고 정확한 스마트 가리기 경험을 현장 앱에 제공합니다. 이 기능을 사용하려면 현장 앱에서 고급 카메라 기능을 활성화해야 합니다. 사용자는 설정 > 개인정보보호 및 보안을 클릭하여 고급 카메라 기능을 활성화할 수 있습니다. 기관 관리자는 모든 현장 앱 사용자에 대해 해당 기능을 활성화 또는 비활성화할 수도 있습니다. 자세한 내용은 기관 설정을 참고하세요.
- iOS의 경우, redaction 매개변수가 있는 engine=vision 등록정보를 지정하여 Apple 빌트인 Vision API를 활성화할 수 있습니다. 이 API는 iOS 운영 체제에 빌트인되어 있습니다.
- 빌트인 API를 사용하여 Android 및 iOS의 바코드 스캔 정확도와 성능을 향상할 수 있습니다. 이는 현장조사의 바코드 질문 및 현장조사 갤러리의 바코드 스캐너에 적용됩니다. 자세한 내용은 바코드를 참고하세요.
주의:
고급 카메라 기능은 Google ML Kit를 사용합니다. 현장 앱에서 고급 카메라 기능을 활성화하면 성능을 측정하고, 디버그하고, 제품을 유지관리 및 개선하고, 남용 또는 오용을 감지하기 위해 사용 통계가 Google에 전송될 수 있습니다. 영상 프로세싱은 전적으로 기기에서 이루어지며 Google 서버에는 이미지가 전송되지 않습니다. 자세한 내용은 Google 개발자 웹사이트의 Google ML Kit 약관 및 개인정보보호정책을 참고하세요.
iOS에서 스마트 가리기를 위한 engine=vision 등록정보를 포함하는 바코드 스캔 및 현장조사는 자동으로 Apple 빌트인 Vision API를 사용합니다. 이러한 API는 분석 데이터를 Apple에 전송할 수 있습니다. 분석 데이터에는 하드웨어 및 운영 체제 사양에 대한 세부 정보, 성능 통계, 기기 및 애플리케이션 사용 방법에 대한 데이터가 포함될 수 있습니다. 이 정보는 iOS 기기의 개인정보보호 및 보안 설정에서 검토할 수 있습니다. 이 정보는 Apple이 제품 및 서비스를 개선하고 발전시키도록 도움을 주는 데 사용됩니다. 수집하는 정보 중 어떤 것도 사용자를 개인적으로 식별하지 않습니다. 개인 데이터는 기록되지 않거나, 차등 개인정보보호와 같은 개인정보보호 기술이 적용되거나, Apple에 전송되기 전에 보고서에서 제거됩니다. 자세한 내용은 Apple 웹사이트의 기기 분석 및 개인정보보호 및 데이터 및 개인정보보호를 참고하세요.
자세한 내용은 스마트 도우미 준비를 참고하세요.
모델
Survey123 현장 앱은 .tflite 파일의 TensorFlow Lite 모델도 지원합니다. 모델에는 각 클래스의 레이블을 비롯하여 모델이 감지하도록 학습된 모델 유형 및 객체 클래스에 대한 정보가 포함된 .emd 파일 또는 .txt 파일이 함께 있어야 합니다. Survey123 현장 앱은 다음 두 가지 유형의 머신 러닝 모델을 지원합니다.
- 객체 감지 — 객체 감지 모델은 이미지에 있는 여러 객체 클래스의 존재 여부 및 위치를 각각 연관된 레이블과 함께 감지하도록 학습됩니다. 자세한 내용은 객체 감지를 참고하세요.
- 이미지 분류 — 이미지 분류 모델은 이미지의 다양한 클래스를 각각 연관된 레이블과 함께 인식하도록 학습됩니다. 이미지가 모델의 레이블 중 하나를 나타낼 확률이 결과로 출력됩니다. 자세한 내용은 이미지 분류를 참고하세요. 이러한 모델은 각 이미지에 대상 객체가 1개 있는 응용 분야에 가장 적합합니다.
팁:
ArcGIS Living Atlas of the World의 일반적인 객체 감지 딥러닝 패키지는 COCO(Common Objects in Context) 데이터셋으로 학습된 TensorFlow Lite 객체 감지 모델입니다. 사람, 동물, 음식, 차량, 가정용품을 포함한 80개의 일반적인 객체를 감지할 수 있습니다. 이 모델을 생산 현장조사에 사용하는 것은 권장하지 않지만, 데모용으로 활용하거나 스마트 도우미 사용을 시작할 때는 유용할 수 있습니다. 자세한 내용은 모델 소개를 참고하세요.
모델 생성
사용자의 요구 사항을 충족하도록 이미지 분류 및 객체 감지 모델을 생성할 수 있습니다. 모델은 이미지에 있는 각 객체의 위치를 식별하도록 경계 상자와 함께 레이블이 지정된 이미지 컬렉션으로 학습됩니다. 모델을 학습시키는 작업에는 시간과 리소스가 많이 들 수 있습니다. 모델의 정확도 및 성능은 학습에 사용된 이미지의 수와 해당 이미지의 적합성에 따라 달라집니다.
ArcGIS 도구를 사용하여 이미지 분류 모델을 생성할 수 있습니다. 모델이 도로 표지판을 식별하도록 학습 튜토리얼의 단계를 따라 이미지 분류 모델을 생성하세요. 이 튜토리얼은 Survey123을 사용하여 대표적인 학습 이미지 컬렉션을 캡처하고, ArcGIS Notebooks를 사용하여 모델을 학습시키고, 해당 모델을 Survey123 현장 앱에서 사용하여 새 이미지를 분류하는 방법을 보여줍니다.