أدوات المساعدة الذكية

تعمل أدوات المساعدة الذكية على زيادة سير عمل جمع البيانات الميدانية، وتحويل كاميرا الجهاز المحمول إلى أداة يمكنها التعرف على الكائنات ذات الصلة بسير العمل في متناول اليد. يمكن استخدام هذه التقنية لحماية خصوصية الأشخاص من خلال مساعدة المستخدمين على تنقيح معلومات التعريف الشخصية. يمكن أن تجعل جمع البيانات أكثر كفاءة وأقل عرضة للخطأ. باستخدام أدوات المساعدة الذكية، يكون للمستخدمين القول الفصل في التعديلات التي تم إجراؤها على الصور والبيانات التي يتم إرسالها.

يمكن تكوين أدوات المساعدة الذكية لأسئلة الصور في الاستطلاعات. هناك ثلاث طرق لاستخدام المساعدين الأذكياء في تطبيق Survey123 الميداني، وهي مذكورة أدناه. يمكن استخدام كل أداة مساعدة مع الصور الملتقطة بالكاميرا في التطبيق أو مع الصور المحددة في التطبيق من نظام الملفات.

• السمات الذكية - قم بتصنيف الصورة أو اكتشاف الكائن وعرض معاينة في الوقت الفعلي للسمات أثناء التقاط الصورة. عند الالتقاط، يتم تخزين السمات في بيانات EXIF الوصفية للصورة ويمكن استخراجها واستخدامها لتعبئة أسئلة أخرى في الاستطلاع.
• التعليق التوضيحي الذكي - استخدم اكتشاف الكائن لإنشاء رسومات توضيحية على صورة يمكن للمستخدم تحريرها باستخدام أدوات التعليقات التوضيحية.
• التنقيح الذكي - استخدم اكتشاف الكائن لإنشاء مربعات محيطة حول الكائنات المستهدفة؛ ثم تطبيق التأثيرات لتنقيح تلك المناطق.

السمات الذكية

تسمح لك السمات الذكية بربط سؤال الصورة بنموذج اكتشاف الكائن أو تصنيف الصورة واستخراج القيم بناءً على الكائنات التي يكتشفها النموذج في الصورة. باستخدام السمات الذكية للمساعدة في تحليل الصورة، يمكنك أتمتة عملية تحديد الموضوعات الموجودة في الصورة وتصنيفها، وتقليل مخاطر الأخطاء أو التناقضات في عملية التحليل.

على سبيل المثال، يمكنك التقاط صورة لطريق واستخدام السمات الذكية لتحديد أنواع مختلفة من غرف التفتيش في الصورة وتحليلها. يمكنك استخدام دالة pulldata("@json") لقراءة نتائج الكشف في بيانات EXIF الأولية للصورة.

ستختلف نتائج الاكتشاف حسب نوع النموذج. تُظهر نماذج اكتشاف الكائنات جميع العناصر المحددة بالمربعات المحيطة في معاينة الكاميرا. تُظهر نماذج تصنيف الصور الفئة المحددة في الجزء السفلي من معاينة الصورة. تتم كتابة القيم على بيانات EXIF الأولية للصورة عند التقاط الصورة.

لمزيد من المعلومات، راجع إضافة السمات الذكية إلى استطلاع.

التعليق التوضيحي الذكي

تعمل التعليقات التوضيحية الذكية على زيادة أدوات التعليق التوضيحي للصورة في Survey123 عن طريق التعليق التوضيحي التلقائي على الكائنات المكتشفة في الصورة. تتم إضافة نتائج الكشف إلى لوحة التعليقات التوضيحية بعد التقاط صورة أو إضافة صورة من وحدة تخزين الجهاز. يمكنك تحرير المربعات المحيطة والتسميات في اللوحة وإضافة تعليق توضيحي. لمزيد من المعلومات حول لوحة التعليقات التوضيحية، راجع الرسم والتعليق التوضيحي. يمكنك أيضًا إنشاء لوحات تعليقات توضيحية مخصصة لتطبيق رموز محددة لكل فئة في نموذج اكتشاف الكائن. لمزيد من المعلومات، راجع لوحات الرسم وإضافة تعليق توضيحي.

على سبيل المثال، يمكن استخدام التعليق التوضيحي الذكي في مشهد الشارع حيث تريد تسمية المركبات الموجودة في الصورة والتعليق عليها. سيتطلب هذا التعليق التوضيحي الذكي نموذجًا لاكتشاف الكائنات تم تدريبه على اكتشاف أنواع مختلفة من المركبات. يمكن أن تكون الصورة المشروحة مفيدة لمجموعة متنوعة من التطبيقات، مثل تحليل حركة المرور وإدارة مواقف السيارات والتخطيط الحضري. باستخدام التعليق التوضيحي الذكي لإضافة تعليق توضيحي للصورة تلقائيًا، يمكنك توفير الوقت والجهد مقارنة بالتعليق التوضيحي اليدوي، وتقليل مخاطر الأخطاء أو التناقضات في عملية وضع العلامات.

لمزيد من المعلومات، راجع إضافة تعليق توضيحي ذكي إلى الاستطلاع.

التنقيح الذكي

يسمح التنقيح للمستخدمين بإخفاء المعلومات الحساسة في الصور، مثل وجوه الأشخاص. يدعم Survey123 التنقيح اليدوي، مما يسمح للمستخدمين بتحديد مناطق الصورة يدويًا قبل حفظ الصورة وإرسالها مع الاستبيان. بدلاً من ذلك، يمكنك استخدام التنقيح الذكي لتنقيح الصور.

تشمل تأثيرات التنقيح التمويه، والحظر، والبكسل، والرمز.

لمزيد من المعلومات، راجع إضافة تنقيح ذكي إلى استطلاع.

التعلم الآلي

تستخدم أدوات المساعدة الذكية في تطبيق Survey123 الميداني نماذج التعلم الآلي المدربة على اكتشاف الأنماط في الصور. نظرًا لأنه يتم تنزيل النماذج باستخدام الاستطلاعات أو الوصول إليها من خلال واجهات برمجة التطبيقات المضمنة، فإن أدوات المساعدة الذكية تعمل عندما يكون جهازك متصلاً بالإنترنت أو غير متصل بالإنترنت، وتتم جميع عمليات معالجة الصور على الجهاز.

ملاحظة:‏

يسمح لك Survey123 باستخدام واجهات برمجة التطبيقات المضمنة في التطبيق الميداني أو نظام تشغيل جهازك الذي يوفر الوصول إلى نماذج الكشف عن الكائنات التابعة لجهات خارجية والمدربة باستخدام التعلم العميق. يمكنك أيضًا تدريب النماذج الخاصة بك. أنت مسؤول عن استخدام هذه النماذج. عند استخدام Survey123، تقع على عاتقك مسؤولية مراجعة المخرجات، وفي حالة تنقيح الصورة، قم يدويًا بتصحيح أي معلومات قد يفوتها التنقيح التلقائي.

يمكنك استخدام هذه التقنية في Survey123 بالطرق التالية:

• قم بتوفير نموذج TensorFlow Lite في مجلد وسائط الاستطلاع. هذه الطريقة مدعومة في Android وiOS وWindows لجميع أدوات المساعدة الذكية. يمكنك إنشاء نماذج TensorFlow Lite لاكتشاف فئات الكائنات لحالة الاستخدام الخاصة بك. بدلاً من ذلك، قم بتنزيل حزمة التعلم الشامل اكتشاف الكائنات الشائعة لاستخدامها كنقطة بداية. لمزيد من المعلومات، راجع قسم النماذج أدناه.
• للتنقيح الذكي فقط، يمكنك استخدام واجهات برمجة التطبيقات المضمنة لتنقيح الوجوه في الصور. باستخدام هذه الطريقة، لن تحتاج إلى توفير ملف نموذج. يدعم Survey123 تقنيتين مدمجتين:
  • Google ML Kit مدمج في تطبيق Survey123 الميداني ومدعوم في Android وiOS. يوفر Google ML Kit تجربة التنقيح الذكية الأسرع والأكثر دقة في التطبيق الميداني. لاستخدام هذه التقنية، يجب تمكين ميزات الكاميرا المحسنة في التطبيق الميداني. يمكن للمستخدمين تمكين ميزات الكاميرا المحسنة من خلال النقر على الإعدادات > الخصوصية والأمان. يمكن لمسؤولي المؤسسة أيضًا تمكين هذه الميزات أو تعطيلها لجميع مستخدمي التطبيق الميداني. لمزيد من المعلومات، راجع إعدادات المؤسسة.
  • بالنسبة إلى iOS، يمكنك تمكين واجهة برمجة التطبيقات المدمجة Apple Vision لاكتشاف الوجه عن طريق تحديد خاصية engine=vision مع معلمة redaction. واجهة برمجة التطبيقات هذه مدمجة في نظام التشغيل iOS.
• يمكنك استخدام واجهات برمجة التطبيقات المدمجة لزيادة دقة وأداء مسح الرمز الشريطي في Android وiOS. ينطبق هذا على أسئلة الرمز الشريطي في الاستطلاعات وماسح الرمز الشريطي في معرض الاستطلاع. لمزيد من المعلومات، راجع الرموز الشريطية.

تنبيه:

تستخدم ميزات الكاميرا المحسنة Google ML Kit. عند تمكين ميزات الكاميرا المحسّنة في التطبيق الميداني، قد يتم إرسال إحصائيات الاستخدام إلى Google لقياس الأداء وتصحيح الأخطاء وصيانتها وتحسين المنتجات واكتشاف إساءة الاستخدام أو إساءة الاستخدام. تتم معالجة الصور بالكامل على الجهاز ولا يتم إرسال أي صور إلى خوادم Google. لمزيد من المعلومات، راجع الشروط والخصوصية Google ML Kit على موقع مطوري Google.

في iOS، يقوم مسح الرمز الشريطي والاستطلاعات التي تتضمن خاصية engine=vision التنقيح الذكي باستخدام واجهات برمجة التطبيقات المضمنة AppleVision تلقائيًا. قد ترسل واجهات برمجة التطبيقات هذه البيانات التحليلية إلى Apple. قد تتضمن بيانات التحليلات تفاصيل حول مواصفات الأجهزة ونظام التشغيل وإحصائيات الأداء وبيانات حول كيفية استخدامك للأجهزة والتطبيقات. يمكنك مراجعة هذه المعلومات في إعدادات الخصوصية والأمان على جهاز iOS. تُستخدم هذه المعلومات لمساعدة Apple في تحسين منتجاتها وخدماتها وتطويرها. لا تحدد أي من المعلومات التي تم جمعها هويتك الشخصية. لا يتم تسجيل البيانات الشخصية، أو تخضع لتقنيات الحفاظ على الخصوصية مثل الخصوصية التفاضلية، أو إزالتها من أي تقارير قبل إرسالها إلى Apple. لمزيد من المعلومات، راجع تحليلات الجهاز والخصوصية والبيانات والخصوصية على موقع Apple على الويب.

لمزيد من المعلومات، راجع إعداد أدوات المساعدة الذكية.

نماذج

يدعم تطبيق Survey123 الميداني نماذج TensorFlow Lite في ملفات .tflite. يجب أن تكون النماذج مصحوبة بملف .emd أو ملف .txt يحتوي على معلومات حول نوع النموذج وفئات الكائنات التي تم تدريبها على اكتشافها، بما في ذلك تسميات كل فئة. يدعم تطبيق Survey123 الميداني نوعين من نماذج التعلم الآلي:

• اكتشاف الكائن - يتم تدريب نموذج اكتشاف الكائن على اكتشاف وجود وموقع فئات متعددة من الكائنات في الصورة، ولكل منها تسمية مرتبطة. لمزيد من المعلومات، راجع اكتشاف الكائنات.
• تصنيف الصورة - يتم تدريب نموذج تصنيف الصور على التعرف على فئات مختلفة من الصور، ولكل منها ملصق مرتبط به. الناتج هو احتمال أن تمثل الصورة إحدى التسميات في النموذج. لمزيد من المعلومات، راجع تصنيف الصور. هذه النماذج هي الأنسب للتطبيقات التي يوجد فيها كائن مستهدف واحد في كل صورة.

تلميح:

تعد حزمة التعلم الشامل اكتشاف الكائنات الشائعة في نموذج اكتشاف الكائنات ArcGIS Living Atlas of the WorldTensorFlow Lite تم تدريبه على مجموعة بيانات الكائنات المشتركة في السياق (COCO). يمكنه اكتشاف 80 عنصرًا شائعًا، بما في ذلك الأشخاص والحيوانات والمواد الغذائية والمركبات والأدوات المنزلية. في حين أنه لا يوصى باستخدام هذا النموذج في استطلاعات الإنتاج، إلا أنه قد يكون مفيدًا لأغراض العرض والبدء مع أدوات المساعدة الذكية. لمزيد من المعلومات، راجع مقدمة عن النموذج.

إنشاء النموذج

يمكنك إنشاء تصنيف الصور ونماذج الكشف عن الكائنات لتناسب متطلباتك. يتم تدريب النماذج على مجموعة من الصور التي تم تصنيفها بالمربعات المحيطة لتحديد موقع كل كائن في الصورة. يمكن أن يكون تدريب النموذج مكثفًا للوقت والموارد. تعتمد دقة النموذج وأدائه على عدد الصور المستخدمة لتدريبه، ومدى ملاءمة تلك الصور.

يمكنك إنشاء نماذج تصنيف الصور باستخدام أدوات ArcGIS. اتبع الخطوات الموجودة في البرنامج التعليمي تدريب نموذج للتعرف على لافتات الشوارع لإنشاء نموذج تصنيف للصور. يوضح البرنامج التعليمي كيفية استخدام Survey123 لالتقاط مجموعة تمثيلية من صور التدريب، وتدريب نموذج باستخدام ArcGIS Notebooks، واستخدام النموذج في تطبيق Survey123 الميداني لتصنيف الصور الجديدة.