スマート アシスタント

スマート アシスタントによってフィールド データ収集ワークフローが拡張され、ワークフローに関連するオブジェクトをその場で認識できるツールへとモバイル デバイスのカメラを変貌させることができます。 このテクノロジを使用して、個人を特定できる情報をユーザーが墨消しできるようにすることで、個人のプライバシーを保護できます。 さらに、データ収集の効率が上がり、エラーが発生する確率が低くなります。 スマート アシスタントでは、画像への修正と送信されるデータに関してユーザーが最終決定を下します。

調査の画像の質問でスマート アシスタントを構成できます。 Survey123 フィールド アプリでは、次の 3 通りの方法でスマート アシスタントを使用できます。 アプリのカメラで撮影した写真、またはファイル システムからアプリで選択した写真で各アシスタントを使用できます。

• スマート属性 - 画像分類かオブジェクト検出を実行し、画像キャプチャ中に属性のリアルタイムのプレビューを表示します。 キャプチャ時には属性が画像の EXIF メタデータに格納され、調査の他の質問に入力するために抽出および使用できます。
• スマート アノテーション - オブジェクト検出を使用して、ユーザーがアノテーション ツールを使用して編集できるアノテーション グラフィックスを画像上に生成します。
• スマート墨消し - オブジェクト検出を使用して対象オブジェクトを囲むように境界四角形を生成し、効果を適用してこれらのリージョンを墨消しします。

スマート属性

スマート属性では、画像の質問をオブジェクト検出モデルか画像分類モデルに関連付け、モデルが画像から検出したオブジェクトに基づいて値を抽出できます。 スマート属性を画像の分析に活用することで、画像に含まれる対象の特定と分類に関するプロセスを自動化し、分析プロセスにおけるミスや不整合のリスクを軽減できます。

たとえば、道路の写真を撮影してスマート属性を使用することで、写真に写っているさまざまなタイプのマンホールの特定と分析を行うことができます。 pulldata("@json") 関数を使用することで、画像の EXIF メタデータの検出結果を読み取ることができます。

モデルのタイプに応じて検出結果は異なります。 オブジェクト検出モデルによってすべてのアイテムが表示され、カメラ プレビューでは境界四角形で囲まれます。 画像分類モデルによって、画像プレビューの下部に特定したクラスが表示されます。 画像がキャプチャされると、画像 EXIF メタデータに値が書き込まれます。

詳細については、「調査へのスマート属性の追加」をご参照ください。

スマート アノテーション

スマート アノテーションでは、画像内で検出されたオブジェクトに自動的にアノテーションすることで、Survey123 の画像アノテーション ツールを拡張します。 写真を撮影するか、デバイス ストレージから画像を追加すると、検出結果がアノテーション キャンバスに追加されます。 キャンバスで境界四角形とラベルを編集してアノテーションを追加できます。 アノテーション キャンバスの詳細については、「draw と annotate」をご参照ください。 カスタム アノテーション パレットを作成して、オブジェクト検出モデルのクラスごとに特定のシンボルを適用することもできます。 詳細については、「draw と annotate のパレット」をご参照ください。

たとえば、画像内の車両にラベル付けとアノテーションを行う道路シーンでスマート アノテーションを使用できます。 このようなスマート アノテーションでは、さまざまなタイプの車両を検出できるようトレーニングされたオブジェクト検出モデルが必要です。 交通量の分析や駐車場の管理、都市計画など、さまざまな用途にアノテーションされた画像を活用できます。 スマート アノテーションを使用して画像のアノテーションを自動化することで、手動によるアノテーションよりも時間が短縮されるとともに労力も軽減され、ラベル付けプロセスにおけるミスと不整合のリスクが抑制されます。

詳細については、「調査へのスマート アノテーションの追加」をご参照ください。

スマート墨消し

墨消しを使用することで、ユーザーは画像内の機密情報 (人の顔など) を隠すことができます。 Survey123 では手動墨消しがサポートされているため、調査に画像が保存されて送信される前に、ユーザーは画像のリージョンを手動で選択できます。 スマート墨消しを使用して画像の墨消しを行うこともできます。

墨消し効果にはぼかし、遮断、ピクセル化、シンボルがあります。

詳細については、「調査へのスマート墨消しの追加」をご参照ください。

Machine learning

Survey123 フィールド アプリのスマート アシスタントでは、画像内のパターンを検出できるようにトレーニングされた機械学習モデルを使用します。 モデルは調査とともにダウンロードされ、組み込み API からアクセスするため、デバイスがオンラインでもオフラインでもスマート アシスタントは動作し、すべての画像処理がデバイス上で行われます。

注意:

Survey123 では、ディープ ラーニングを使用してトレーニングされたサードパーティのオブジェクト検出モデルにアクセスできる、フィールド アプリまたはデバイスのオペレーティング システムに組み込まれた API を使用できます。 独自のモデルをトレーニングすることも可能です。 これらのモデルはご自身の責任において使用することとなります。 Survey123 を使用する場合は、ご自身の責任において出力を確認することとなります。画像の墨消しの場合、自動墨消しで見落とされた可能性がある情報は手動で修正してください。

Survey123 のこのテクノロジは次の方法で使用できます。

• 調査のメディア フォルダーに TensorFlow Lite モデルを用意します。 この方法は、すべてのスマート アシスタントにおいて Android、iOS、Windows でサポートされています。 自社固有のユース ケースに合わせて、オブジェクト クラスを検出する TensorFlow Lite モデルを作成できます。 [Common Object Detection] ディープ ラーニング パッケージをダウンロードしてテンプレートとして使用することもできます。 詳細については、下の「モデル」セクションをご参照ください。
• スマート墨消しでのみ、組み込み API を使用して画像内の顔を墨消しできます。 この方法では、モデル ファイルを用意する必要がありません。 Survey123 は次の 2 つの組み込みテクノロジに対応しています。
  • Google ML Kit は Survey123 フィールド アプリに組み込まれており、Android と iOS でサポートされています。Google ML Kit はフィールド アプリにおいて最速で最も精度の高いスマート墨消しエクスペリエンスを実現します。このテクノロジを使用するには、フィールド アプリで高度なカメラ機能を有効にする必要があります。ユーザーは、[設定] > [プライバシーとセキュリティ] の順にクリックして高度なカメラ機能を有効にすることができます。 さらに、組織の管理者は、すべてのフィールド アプリ ユーザーに対して高度なカメラ機能を無効にすることもできます。 詳細については、「組織の設定」をご参照ください。
  • iOS では、redaction パラメーターで engine=vision プロパティを指定することで、顔検出用に Apple の組み込み Vision API を有効にできます。 この API は iOS オペレーティング システムに組み込まれています。
• 組み込み API を使用することで、Android と iOS におけるバーコード スキャンの精度とパフォーマンスを上げることができます。 これは、調査のバーコードの質問と調査ギャラリーのバーコード スキャナーに適用されます。 詳細については、「バーコード」をご参照ください。

注意:

高度なカメラ機能では Google ML Kit を使用します。 フィールド アプリで高度なカメラ機能を有効にすると、パフォーマンスの計測、製品のデバッグ、保守および改善、誤用および不正使用の検出のために、使用状況の統計が Google に送信されることがあります。 すべての画像処理はデバイス上で行われ、画像が Google のサーバーに送信されることはありません。 詳細については、Google デベロッパー Web サイトの Google ML Kit の「Terms & Privacy」をご参照ください。

iOS では、スマート墨消し用の engine=vision プロパティを含むバーコード スキャンと調査で自動的に Apple の組み込み Vision API を使用します。 これらの API によって、Apple に解析データが送信される場合があります。 ハードウェアおよびオペレーティング システムの仕様とパフォーマンス統計に関する詳細、デバイスとアプリケーションの使用方法に関するデータが解析データに含まれている場合があります。 この情報は iOS デバイスのプライバシーとセキュリティの設定で確認できます。 Apple が自社の製品とサービスを改善および開発するためにこの情報が役立てられます。 収集した情報が個人の特定に使用されることはありません。 個人データは記録されず、差分プライバシーなどのプライバシー保護手法が適用されるか、Apple に送信される前にすべてのレポートから削除されます。 詳細については、Apple Web サイトのデバイス解析とプライバシーとデータとプライバシーをご参照ください。

詳細については、「スマート アシスタントの準備」をご参照ください。

モデル

Survey123 フィールド アプリは .tflite ファイルの TensorFlow Lite モデルに対応しています。 各クラスのラベルも含め、検出トレーニングに使用したモデル タイプとオブジェクト クラスに関する情報を含む .emd ファイルか .txt ファイルがモデルには必要です。 Survey123 フィールド アプリは次の 2 種類の機械学習モデルに対応しています。

• オブジェクト検出 - オブジェクト検出モデルは画像内の複数のクラスのオブジェクトの存在と位置を検出するようにトレーニングされており、それぞれに関連するラベルがあります。 詳細については、オブジェクトの検出をご参照ください。
• 画像分類 - 画像分類モデルはさまざまなクラスの画像を識別するようにトレーニングされており、それぞれに関連するラベルがあります。 出力は、モデル内のいずれかのラベルを表す画像の確率です。 詳細については、画像分類をご参照ください。 これらのモデルは、各画像にターゲット オブジェクトが 1 つある用途に最適です。

ヒント:

ArcGIS Living Atlas of the World の Common Object Detection ディープ ラーニング パッケージは、Common Objects in Context (COCO) データセットを使用してトレーニングされた TensorFlow Lite オブジェクト検出モデルです。 人物、動物、食品、車両、日用品など、80 の一般的なオブジェクトを検出できます。 本番の調査でこのモデルを使用することは推奨されていませんが、デモの実施やスマート アシスタントのテストには役立ちます。 詳細については、モデルの概要をご参照ください。

モデルの作成

要件に合わせて画像分類モデルとオブジェクト検出モデルを作成できます。 画像内の各オブジェクトの位置を区別する境界四角形で囲まれた画像のコレクションを使用してモデルがトレーニングされます。 モデルのトレーニングには長い時間と大量のリソースを必要とする場合があります。 モデルの精度とパフォーマンスは、トレーニングに使用した画像の数とそれらの画像の適合性に左右されます。

ArcGIS ツールを使用して画像分類モデルを作成できます。 チュートリアル「道路標識を識別するためのモデルのトレーニング」の手順に従って画像分類モデルを作成してください。 このチュートリアルでは、Survey123 を使用してトレーニング画像の代表的なコレクションを取得する方法、ArcGIS Notebooks を使用してモデルをトレーニングする方法、Survey123 フィールド アプリのモデルを使用して新しい画像を分類する方法について説明しています。