Disponible con licencia de Image Analyst.
La herramienta Calcular precisión para la detección de objetos calcula la precisión de un modelo de aprendizaje profundo comparando los objetos detectados por la herramienta Detectar objetos con aprendizaje profundo con los datos de referencia del terreno. La precisión de un modelo se evalúa utilizando cuatro métricas de precisión: la Precisión media (AP), la Puntuación de F1, el Valor medio de precisión media de COCO (mAP) y la curva de precisión x recuperación.
Interpretar los resultados del modelo
Para comprender las salidas de la herramienta Calcular precisión para la detección de objetos, primero debe comprender los resultados del modelo de detección.
En la detección y clasificación de objetos, un modelo puede predecir una clase positiva o una clase negativa y las predicciones pueden ser verdaderas o falsas. Por ejemplo, al detectar la presencia de árboles en una imagen, la clase positiva puede ser "Árbol", mientras que la clase negativa sería "Sin árbol". Se produce una predicción verdadera cuando la predicción es correcta y se produce una predicción falsa cuando la predicción es incorrecta.
En la siguiente imagen, los cuadros de delimitación rojos indican una predicción positiva, en la que el modelo predijo que había un árbol presente. Los cuadros de delimitación azul oscuro indican una predicción negativa, en la que el modelo predijo que no había ningún árbol.
La interpretación de cada cuadro de delimitación se explica en la siguiente tabla.
| Número | Descripción |
|---|---|
 | Positivo verdadero: el modelo predijo que había un árbol y es correcto. |
 | Positivo falso: el modelo predijo que había un árbol y es incorrecto. |
 | Negativo falso: el modelo predijo que no había ningún árbol y es incorrecto. |
 | Negativo verdadero: el modelo predijo que no había ningún árbol y es correcto. |
Salidas de precisión
La precisión de un modelo de detección de objetos depende de la calidad y el número de muestras de entrenamiento, las imágenes de entrada, los parámetros del modelo y el umbral de requisitos de precisión.
La relación Intersección sobre la unión (IoU) se utiliza como umbral para determinar si un resultado previsto es un verdadero positivo o un falso positivo. La relación IoU es la cantidad de superposición entre el cuadro de delimitación alrededor de un objeto previsto y el cuadro de delimitación alrededor de los datos de referencia del terreno.
| Área de intersección del cuadro de delimitación previsto y el cuadro de delimitación de referencia del terreno |
| Área total del cuadro de delimitación previsto y el cuadro de delimitación de referencia del terreno combinados |
La tabla de precisión de salida y el informe de precisión generado por la herramienta Calcular precisión para la detección de objetos contienen un conjunto de métricas de precisión que dependen del umbral de IoU y el rendimiento del modelo. Las métricas de precisión se describen a continuación:
- Precisión: la precisión es la relación del número de positivos verdaderos respecto al número total de predicciones positivas. Por ejemplo, si el modelo detectó 100 árboles y 90 eran correctos, la precisión es del 90 por ciento.
Precisión = (Positivo verdadero)/(Positivo verdadero + Positivo falso) - Recuperación: la recuperación es la relación del número de positivos verdaderos respecto al número total de objetos reales (relevantes). Por ejemplo, si el modelo detecta correctamente 75 árboles en una imagen y realmente hay 100 árboles en la imagen, la recuperación es del 75%.
Recuperación = (Positivo verdadero)/(Positivo verdadero + Negativo falso) - Puntuación F1: la puntuación F1 es una media ponderada de la precisión y la recuperación. Los valores varían de 0 a 1, donde 1 corresponde a la precisión más alta.
Puntuación F1 = (Precisión × Recuperación)/[(Precisión+ Recuperación)/2] - Curva de precisión-recuperación: se trata de un diagrama de precisión (eje y) y recuperación (eje x) que sirve como evaluación del rendimiento de un modelo de detección de objetos. El modelo se considera un buen modelo predictivo si la precisión sigue siendo alta a medida que aumenta la recuperación.
Se muestra la curva de precisión-recuperación (Padilla et al., 2020). - Precisión media: la precisión media (AP) son los promedios de precisión de todos los valores de recuperación entre 0 y 1. La AP se puede interpretar como encontrar el área bajo la curva de precisión-recuperación. Al interpolar en todos los puntos, la AP se puede interpretar como el área bajo la curva de la curva de precisión-recuperación.
- Valor medio de precisión media: el valor medio de precisión media (mAP) es la AP promedio sobre varios umbrales de IoU. Por ejemplo, mAP@[0.5:0.05:0.95] corresponde a la AP de los valores de relación de IoU que varían de 0,5 a 0,95, en intervalos de 0,05, promediada en todas las clases.
Referencias
Hui, Jonathan. "mAP (mean Average Precision) for Object Detection." Publicado el 6 de marzo de 2018 en Medium. https://medium.com/@jonathan_hui/map-mean-average-precision-for-object-detection-45c121a31173.
Padilla, Rafael, Sergio L. Netto, and Eduardo A. B. da Silva. "A Survey on Performance Metrics for Object-Detection Algorithms." 2020 International Conference on Systems, Signals and Image Processing (IWSSIP), 237-242 (2000).
"Detection Evaluation." COCO Common Objects in Context, último acceso el 15 de octubre de 2020, https://cocodataset.org/#detection-eval.