Вычислить точность для выявления объектов (Image Analyst)

Доступно с лицензией Image Analyst.

Краткая информация

Вычисляет точность модели глубокого обучения сравнением объектов, выявленных инструментом Выявить объекты при помощи глубокого обучения, с истинными данными на поверхности земли.

Подробнее о том, как работает инструмент Вычислить точность для выявления объектов.

Использование

  • Инструмент генерирует таблицу, содержащую информацию, относящуюся к точности выходных данных из инструмента Выявить объекты при помощи глубокого обучения.

    В таблице содержатся показатели точности для каждого класса в данных, а также строка для всех классов (общая точность). В таблице содержатся следующие поля:

    • Precision— отношение числа истинно положительных к числу всех прогнозов.
    • Recall— отношение числа истинно положительных к числу всех положительных прогнозов.
    • F1_Score- средневзвешенное точности и повтор. Значения варьируют от 0 до 1, при этом 1 означает максимальную точность.
    • AP- показатель средней точности (AP), т.е. точность, усредненная по всем значениям повтора между 0 и 1 с данным значением Intersection over Union (IoU).
    • True_Positive— число истинно положительных, сгенерированных моделью.
    • False_Positive— число ложно положительных, сгенерированных моделью.
    • False_Negative— число ложно отрицательных, сгенерированных моделью.

    Дополнительные сведения о показателях в выходной таблице и в отчете о точности см. в разделе Как работает инструмент Вычислить точность для выявления объектов.

  • Входные базовые данные поверхности земли должны содержать полигоны. Если у вас есть точечные или линейные данные, показывающие положение объектов, запустите инструмент Буфер, чтобы создать класс полигональных объектов перед запуском этого инструмента.

  • Пересечение выше порога объединения (IoU) используется как порог для определения, является ли прогнозируемый выброс истинно положительным или ложно положительным. Отношение IoU является величиной наложения между ограничивающим прямоугольником вокруг прогнозируемого объекта и ограничивающим прямоугольником вокруг базовых данных поверхности земли.

    Коэффициент IoU равен наложению ограничивающих прямоугольников (1) на объединение ограничивающих прямоугольников (2).

    1

    Пересекающаяся область прогнозируемого ограничивающего прямоугольника и ограничивающего прямоугольника базовых данных поверхности

    2

    Объединение общих областей прогнозируемого ограничивающего прямоугольника и ограничивающего прямоугольника базовых данных поверхности земли

Параметры

ПодписьОписаниеТип данных
Выявленные объекты

Класс полигональных объектов, содержащий объекты, определенные инструментом Выявить объекты при помощи глубокого обучения.

Feature Class; Feature Layer
Истинно точные объекты

Класс полигональных объектов, содержащий истинно точные данные.

Feature Class; Feature Layer
Выходная таблица Точность

Выходная таблица точности.

Table
Выходной отчет Точность
(Дополнительный)

Название выходного отчета о точности. Отчет - это документ PDF, содержащий показатели и диаграммы точности.

File
Выявленное поле значений класса
(Дополнительный)

Поле в классе выявленных объектов, которое содержит значения классов или имена классов.

Если имя поля не задано, будет использоваться поле Classvalue или Value. Если эти поля отсутствуют, все записи будут считаться принадлежащими одному классу.

Значения или имена классов должны точно совпадать со значениями в базовом классе объектов данных поверхности.

Field
Поле значений класса Истинно точные объекты
(Дополнительный)

Поле в классе истинно точных объектов, которое содержит значения классов.

Если имя поля не задано, будет использоваться поле Classvalue или Value. Если эти поля отсутствуют, все записи будут считаться принадлежащими одному классу.

Значения или имена классов должны точно совпадать со значениями в классе выявленных объектов.

Field
Минимальное пересечение по объединению (IoU)
(Дополнительный)

Коэффициент IoU используется для оценки точности модели выявления объектов. Числитель - это область пересечения прогнозируемого ограничивающего прямоугольника и ограничивающего прямоугольника базовых данных поверхности. Знаменатель - это область объединения или область, охватываемая обоими ограничивающими прямоугольниками. Диапазон значений IoU – от 0 до 1.

Double
Объекты маски
(Дополнительный)

Полигональный класс объектов, который обозначает области, где будет вычисляться точность. Только объекты, которые пересекают маску, будут участвовать в вычислениях.

Feature Class; Feature Layer

ComputeAccuracyForObjectDetection(detected_features, ground_truth_features, out_accuracy_table, {out_accuracy_report}, {detected_class_value_field}, {ground_truth_class_value_field}, {min_iou}, {mask_features})
ИмяОписаниеТип данных
detected_features

Класс полигональных объектов, содержащий объекты, определенные инструментом Выявить объекты при помощи глубокого обучения.

Feature Class; Feature Layer
ground_truth_features

Класс полигональных объектов, содержащий истинно точные данные.

Feature Class; Feature Layer
out_accuracy_table

Выходная таблица точности.

Table
out_accuracy_report
(Дополнительный)

Название выходного отчета о точности. Отчет - это документ PDF, содержащий показатели и диаграммы точности.

File
detected_class_value_field
(Дополнительный)

Поле в классе выявленных объектов, которое содержит значения классов или имена классов.

Если имя поля не задано, будет использоваться поле Classvalue или Value. Если эти поля отсутствуют, все записи будут считаться принадлежащими одному классу.

Значения или имена классов должны точно совпадать со значениями в базовом классе объектов данных поверхности.

Field
ground_truth_class_value_field
(Дополнительный)

Поле в классе истинно точных объектов, которое содержит значения классов.

Если имя поля не задано, будет использоваться поле Classvalue или Value. Если эти поля отсутствуют, все записи будут считаться принадлежащими одному классу.

Значения или имена классов должны точно совпадать со значениями в классе выявленных объектов.

Field
min_iou
(Дополнительный)

Коэффициент IoU используется для оценки точности модели выявления объектов. Числитель - это область пересечения прогнозируемого ограничивающего прямоугольника и ограничивающего прямоугольника базовых данных поверхности. Знаменатель - это область объединения или область, охватываемая обоими ограничивающими прямоугольниками. Диапазон значений IoU – от 0 до 1.

Double
mask_features
(Дополнительный)

Полигональный класс объектов, который обозначает области, где будет вычисляться точность. Только объекты, которые пересекают маску, будут участвовать в вычислениях.

Feature Class; Feature Layer

Пример кода

ComputeAccuracyForObjectDetection, пример 1 (окно Python)

В этом примере создается таблица точности для заданного минимального значения IoU.

# Import system modules
import arcpy
from arcpy.ia import *

# Check out the ArcGIS Image Analyst extension license
arcpy.CheckOutExtension("ImageAnalyst")

# Execute 
ComputeAccuracyForObjectDetection(
	"C:/DeepLearning/Data.gdb/detectedFeatures", 
	"C:/DeepLearning/Data.gdb/groundTruth", 
	"C:/DeepLearning/Data.gdb/accuracyTable", 
	"E:/DeepLearning/accuracyReport.pdf", "Class", 
	"Class", 0.5, " C:/DeepLearning/Data.gdb/AOI")
ComputeAccuracyForObjectDetection, пример 2 (автономный скрипт)

В этом примере создается таблица точности для заданного минимального значения IoU.

# Import system modules
import arcpy
from arcpy.ia import *

# Check out the ArcGIS Image Analyst extension license
arcpy.CheckOutExtension("ImageAnalyst")

# Set local variables 
detected_features = "C:/DeepLearning/Data.gdb/detectedFeatures" 
ground_truth_features = "C:/DeepLearning/Data.gdb/groundTruth" 
out_accuracy_table = "C:/DeepLearning/Data.gdb/accuracyTable" 
out_accuracy_report = "C:/DeepLearning/accuracyReport.pdf" 
detected_class_value_field = "Class" 
ground_truth_class_value_field = "Class" 
min_iou = 0.5 
mask_features = "C:/DeepLearning/Data.gdb/AOI" 

# Execute 
ComputeAccuracyForObjectDetection(detected_features, 
	ground_truth_features, out_accuracy_table, 
	out_accuracy_report, detected_class_value_field, 
	ground_truth_class_value_field, min_iou, mask_features)