Inteligentni asystenci wspomagają procedury wykonywania zadań gromadzenia danych terenowych, przekształcając kamerę urządzenia mobilnego w narzędzie, które może rozpoznawać obiekty istotne dla danej procedury wykonywania zadań. Technologia ta może być wykorzystywana do ochrony prywatności, pomagając użytkownikom w redagowaniu informacji umożliwiających identyfikację konkretnych osób. Może również sprawić, że gromadzenie danych będzie bardziej wydajne i mniej podatne na błędy. Korzystając z inteligentnych asystentów, użytkownicy mają ostateczny głos w sprawie modyfikacji obrazów i przesyłanych danych.
Narzędzia Inteligentni asystenci mogą zostać skonfigurowane dla pytań typu image (obraz) w ankietach. Poniżej wymieniono trzy sposoby korzystania z inteligentnych asystentów w aplikacji terenowej Survey123. Każdego asystenta można użyć ze zdjęciami wykonanymi aparatem w aplikacji lub ze zdjęciami wybranymi w aplikacji z systemu plików.
- Inteligentne atrybuty — klasyfikacja obrazów lub wykrywanie obiektów i wyświetlanie w czasie rzeczywistym podglądu atrybutów podczas rejestrowania obrazu. Podczas rejestrowania atrybuty są zapisane w metadanych EXIF obrazu i mogą zostać wyodrębnione i użyte do wypełnienia pozostałych pytań w ankiecie.
- Inteligentna notatka — generowanie z użyciem wykrywania obiektów grafik notatek na obrazie. Użytkownik może edytować obraz, korzystając z narzędzi do notatek.
- Inteligentne redagowanie — korzystanie z wykrywania obiektów do wygenerowania ramek ograniczających wokół obiektów docelowych, a następnie zastosowanie efektów do redakcji tych regionów.
Inteligentne atrybuty
Inteligentne atrybuty pozwalają powiązać pytanie typu image (obraz) z wykrywaniem obiektów lub modelem klasyfikacji obrazów i wyodrębnić wartości na podstawie obiektów wykrytych przez model na obrazie. Korzystając z pomocy inteligentnych atrybutów przy analizie obrazu, można zautomatyzować proces identyfikowania i przypisywania do kategorii podmiotów zawartych w obrazie oraz zmniejszyć ryzyko błędów lub niespójności w procesie analizy.
Na przykład można wziąć zdjęcie drogi i użyć inteligentnych atrybutów do zidentyfikowania i analizy różnych typów studzienek kanalizacyjnych na zdjęciu. Za pomocą funkcji pulldata("@json") można odczytać wyniki wykrywania w metadanych EXIF obrazu.
Wyniki wykrywania mogą się zmieniać w zależności od typu modelu. Modele wykrywania obiektów pokazują wszystkie zidentyfikowane elementy w ramkach ograniczających w podglądzie z kamery. Modele klasyfikacji obrazów wyświetlają zidentyfikowaną klasę na dole podglądu obrazu. Wartości są zapisywane w metadanych EXIF obrazu w momencie rejestrowania tego obrazu.
Więcej informacji na ten temat zawiera sekcja Dodawanie inteligentnych atrybutów do ankiety.
Inteligentne notatki
Inteligentne notatki rozbudowują narzędzia do notatek do obrazów w aplikacji Survey123, automatycznie dodając notatki do obiektów wykrytych na obrazie. Wyniki wykrywania są dodawane na płótnie notatek po zrobieniu zdjęcia lub dodaniu obrazu z pamięci urządzenia. Na płótnie można edytować ramki ograniczające i etykiety, a także dodawać notatki. Więcej informacji na temat płócien notatek zawiera sekcja Rysowanie i dodawanie notatek. Ponadto można tworzyć niestandardowe palety notatek, aby zastosować konkretną symbolizację dla każdej klasy w modelu wykrywania obiektów. Więcej informacji na ten temat zawiera sekcja Palety rysowania i opisów.
Na przykład inteligentnych notatek można użyć w scenie ulicznej, gdzie mają zostać oznaczone etykietą i notatką pojazdy znajdujące się na obrazie. Ta inteligentna notatka będzie wymagać modelu wykrywania obiektów trenowanego do wykrywania różnych rodzajów pojazdów. Obraz z notatkami może być przydatny w szeregu zastosowań, na przykład przy analizie ruchu drogowego, zarządzaniu parkingami czy planowaniu urbanistycznym. Dzięki użyciu inteligentnych notatek do automatycznego dodawania notatek do obrazu można zaoszczędzić czas i nakład pracy w porównaniu z ręcznym dodawaniem notatek, a także zmniejszyć ryzyko błędów lub niespójności w procesie dodawania etykiet.
Więcej informacji na ten temat zawiera sekcja Dodawanie inteligentnych notatek do ankiety.
Inteligentne redagowanie
Redagowanie pozwala użytkownikom ukrywać wrażliwe informacje na obrazach, na przykład twarze ludzi. Aplikacja Survey123 obsługuje ręczne redagowanie, umożliwiające użytkownikom ręczne wybranie regionów obrazu przed jego zapisaniem i wysłaniem z ankietą. Możliwe jest również użycie inteligentnego redagowania obrazów.
Efekty redagowania to rozmycie, blokada, pikselizacja i symbolizacja.
Więcej informacji na ten temat zawiera sekcja Dodawanie inteligentnego redagowania do ankiety.
Samouczenie się maszyn
W inteligentnych asystentach w aplikacji terenowej Survey123 używane są modele samouczenia się maszyn trenowane do wykrywania wzorców na obrazach. Z uwagi na to, że modele są pobierane z ankietami lub dostęp do nich jest z poziomu wbudowanych interfejsów API, inteligentni asystenci działają, gdy urządzenie jest w trybie online lub offline i całość przetwarzania obrazu następuje na urządzeniu.
Notatka:
Aplikacja Survey123 pozwala skorzystać z interfejsów API wbudowanych w aplikację terenową lub system operacyjny urządzenia, który udostępnia modele wykrywania obiektów innych firm trenowane z użyciem modelu Deep Learning. Można również trenować własne modele. Za użycie takich modeli odpowiada użytkownik. Podczas korzystania z aplikacji Survey123 użytkownik odpowiada za przeglądanie danych wynikowych i w przypadku redagowania obrazu za ręczne poprawienie informacji, które mogły zostać pominięte przez automatyczne redagowanie.
Z technologii tej w aplikacji Survey123 można korzystać w następujący sposób:
- Dostarczenie modelu TensorFlow Lite do folderu multimediów ankiety. Ta metoda jest obsługiwana w systemach Android, iOS i Windows dla wszystkich inteligentnych asystentów. Istnieje możliwość utworzenia modelu TensorFlow Lite do wykrywania klas obiektów dla konkretnych przypadków zastosowania. Inną możliwością jest pobranie pakietu Deep Learning Common Object Detection, który zostanie użyty jako punkt początkowy. Więcej informacji można znaleźć w poniższej sekcji Modele.
- W przypadku jedynie inteligentnego redagowania można użyć wbudowanych interfejsów API w celu redagowania twarzy na obrazach. W przypadku tej metody nie trzeba dostarczać pliku modelu. Aplikacja Survey123 obsługuje dwie wbudowane technologie:
- Zestaw Google ML Kit jest oparty na aplikacji terenowej Survey123 i obsługiwany w systemach Android oraz iOS. Zestaw Google ML Kit oferuje najszybsze i najdokładniejsze funkcje inteligentnego redagowania w aplikacji terenowej. Aby używać tej technologii, należy włączyć rozszerzone funkcje kamery w aplikacji. Można to zrobić, klikając opcję Ustawienia > Bezpieczeństwo i prywatność. Administratorzy instytucji mogą włączać i wyłączać te funkcje dla wszystkich użytkowników aplikacji terenowych. Więcej informacji zawiera temat Ustawienia instytucji.
- W przypadku systemu iOS można włączyć interfejs API Vision firmy Apple do wykrywania twarzy, podając właściwość engine=vision w parametrze redaction. Ten interfejs API jest wbudowany w system operacyjny iOS.
- Za pomocą wbudowanych interfejsów API można zwiększyć dokładność i wydajność skanowania kodów kreskowych w systemach Android i iOS. Dotyczy to pytań typu barcode (kod kreskowy) w ankietach i skanera kodów kreskowych w galerii ankiet. Więcej informacji na ten temat zawiera sekcja Kody kreskowe.
Uwaga:
Rozszerzone funkcje kamery wykorzystują Google ML Kit. Jeśli w aplikacji terenowej zostaną włączone rozszerzone funkcje kamery, statystyki dotyczące użytkowania mogą zostać wysłane do Google w celu pomiaru wydajności, debugowania, utrzymywania i ulepszania produktu oraz wykrywania nieprawidłowego korzystania lub nadużywania. Przetwarzanie obrazów w całości jest wykonywane na urządzeniu i żadne obrazy nie zostają przesłane do serwerów Google. Więcej informacji na ten temat zawiera sekcja Google ML Kit Terms & Privacy w witrynie dla programistów Google.
W systemie iOS przy skanowaniu kodów kreskowych w przypadku ankiet zawierających właściwość engine=vision do inteligentnego redagowania automatycznie są używane wbudowane interfejsy API Vision firmy Apple. Te interfejsy API mogą wysyłać dane analityczne do firmy Apple. Dane analityczne mogą obejmować szczegóły dotyczące specyfikacji sprzętu i systemu operacyjnego, statystyki wydajności oraz dane dotyczące sposobu korzystania z urządzeń i aplikacji. Te informacje można przejrzeć w ustawieniach prywatności i bezpieczeństwa na urządzeniu z systemem iOS. Te informacje pomagają firmie Apple ulepszać i rozwijać produkty i usługi. Żadne z zebranych informacji nie identyfikują użytkownika osobiście. Dane osobowe nie są rejestrowane, podlegają technikom ochrony prywatności, takim jak prywatność różnicowa, lub są usuwane ze wszystkich raportów przed ich przesłaniem do firmy Apple. Więcej informacji na ten temat zawierają sekcje Device Analytics & Privacy oraz Data & Privacy w witrynie Apple.
Więcej informacji na ten temat zawiera sekcja Przygotowanie inteligentnych asystentów.
Modele
Aplikacja terenowa Survey123 obsługuje modele TensorFlow Lite w plikach .tflite. Modelom musi towarzyszyć plik .emd lub .txt zawierający informacje o typie modelu oraz klasach obiektów, do wykrywania których był trenowany, w tym etykiety poszczególnych klas. Aplikacja terenowa Survey123 obsługuje dwa rodzaje modeli samouczenia się maszyn:
- Wykrywanie obiektów — model wykrywania obiektów jest trenowany do wykrywania obecności i lokalizacji wielu klas obiektów na obrazie, każdej z powiązaną etykietą. Więcej informacji zawiera sekcja Wykrywanie obiektów.
- Klasyfikacja obrazów — model klasyfikacji obrazów jest trenowany do rozpoznawania różnych klas obrazów, każdej z powiązaną etykietą. Danymi wynikowymi jest prawdopodobieństwo, że obraz reprezentuje jedną z etykiet w modelu. Więcej informacji zawiera sekcja Klasyfikacja obrazów. Te modele najlepiej pasują do zastosowań, w których na każdym obrazie jest jeden obiekt docelowy.
Wskazówka:
Pakiet modelu Deep Learning Common Object Detection w atlasie ArcGIS Living Atlas of the World jest modelem wykrywania obiektów TensorFlow Lite trenowanym na zestawie danych Common Objects in Context (COCO). Może on wykryć 80 najczęstszych obiektów, w tym ludzi, zwierzęta, produkty spożywcze, pojazdy i artykuły gospodarstwa domowego. Nie zaleca się korzystania z tego modelu w ankietach produkcyjnych, jednak może on być przydatny w celach demonstracyjnych i do rozpoczęcia pracy z inteligentnymi asystentami. Więcej informacji na ten temat zawiera sekcja Wprowadzenie do modelu.
Tworzenie modelu
Dla własnych wymagań można utworzyć modele klasyfikacji obrazów i wykrywania obiektów. Modele są trenowane na zbiorze obrazów oznaczonych ramkami ograniczającymi w celu wskazania lokalizacji poszczególnych obiektów na obrazach. Trenowanie modelu może być czasochłonne i wymagać dużych zasobów. Dokładność i wydajność modelu zależą od liczby obrazów użytych do jego szkolenia oraz od adekwatności tych obrazów.
Modele klasyfikacji obrazów można utworzyć za pomocą narzędzi ArcGIS. Aby utworzyć model klasyfikacji obrazów, wykonaj czynności przedstawione w przewodniku Trenowanie modelu do identyfikowania znaków drogowych. Przewodnik ten pokazuje, jak użyć aplikacji Survey123 do zarejestrowania reprezentatywnego zbioru obrazów szkoleniowych, trenowanie modelu za pomocą aplikacji ArcGIS Notebooks oraz użycie modelu w aplikacji terenowej Survey123 do klasyfikowania nowych obrazów.