[CV] Precision(정밀도) & Recall(재현율)

Precision(정밀도) & Recall(재현율)

정밀도(Precision)과 재현율(Recall)은 주로 Binary Classification(이진 분류)에서 사용되는 성능지표 입니다.

• 정밀도(Precision)는 예측을 Positive로 한 대상 중에 예측과 실제 값이 Positive로 일치한 데이터의 비율을 뜻합니다.
  • Object Detection에서는 검출 알고리즘이 검출 예측한 결과가 실제 Object들과 얼마나 일치하는지를 나타내는 지표입니다.
• 재현율(Recall)은 실제 값이 Positive인 대상 중에 예측과 실제 값이 Positive로 일치한 데이터의 비율을 뜻합니다. Object
  • Detection에서는 검출 알고리즘이 실제 Object들을 빠뜨리지 않고 얼마나 정확히 검출 예측하는지를 나타내는 지표 입니다.

 

IOU 값에 따라 Detection 예측 성공 결정

Object Detection에서 개별 Object에 대한 검출(Detection) 예측이 성공하였는지의 여부를 IOU값으로 결정을 합니다.

* IoU (Intersection over Union)는 Computer Vision 에서 객체 검출(Object Detection)의 성능을 평가하는 데 사용되는 지표입니다.
IoU는 예측된 바운딩 박스(Predicted Bounding Box)와 실제 바운딩 박스(Ground Truth Bounding Box) 사이의 겹치는 영역을 측정하여, 얼마나 정확하게 객체를 탐지했는지를 나타냅니다.

• 일반적으로 PASCAL VOC Challenge 에서 사용된 기준을 적용하여 IOU가 0.5 이상이면 예측 성공으로 인정합니다.
• 단, COCO challenge에서는 여러개의 IOC 기준을 변경해 가면서 예측 성공을 적용합니다.

IOU의 값이 0.5, 0.55 ~ 0.9 까지 봐뀔수도 있습니다.

 

Confusion Matrix (오차 행렬)

Confusion Matrix(오차행렬)은 Binary Classification(이진 분류)의 예측 오류가 얼마인지와 더불어 어떠한 유형의 예측 오류가 발생하고 있는지를 함께 나타내는 지표입니다.

• 아래는 실제 클래스와 모델이 예측한 클래스 간의 관계를 정리한 표입니다. 

• TP (True Positive): 모델이 긍정 클래스를 올바르게 예측한 경우 입니다.
• TN (True Negative): 모델이 부정 클래스를 올바르게 예측한 경우 입니다.
• FP (False Positive): 모델이 부정 클래스를 긍정으로 잘못 예측한 경우 입니다.
• FN (False Negative): 모델이 긍정을 부정으로 잘못 예측한 경우 입니다.

 

Object Detection에서 TP, FP, FN에 따른 Precision(정밀도)과 Recall(재현율)

Object Detection에서 TP, FP, FN

Predicted Class(예측 클래스)에 데한 표

• Precision (정밀도)
  • 정밀도는 모델이 긍정 클래스로 예측한 결과 중 실제로 긍정인 비율을 나타냅니다. 즉, 모델의 예측이 얼마나 정확한지를 측정합니다.
  • 수식: Precision = TP / (FN + TP)

• Recall (재현율)
  • 재현율은 실제 긍정 클래스 중에서 모델이 올바르게 긍정으로 예측한 비율을 나타냅니다. 즉, 모델이 얼마나 잘 긍정 클래스를 잡아내는지를 측정합니다.
  • 수식: Recall = TP / (FN + TP)

 

업무에 따른 Recall(재현율)과 Precision(정밀도)의 상대적 중요도

• Recall(재현율)이 상대적으로 더 중요한 지표인 경우
  • 실제 Positive 양성인 데이터 예측을 Negative로 잘못 판단하게 되면 업무상 큰 영향이 발생하는 경우입니다.
  • 암 진단, 금융사기 판별 등이 있습니다.
• Precision(정밀도)가 상대적으로 더 중요한 지표인 경우
  • 실제 Negative 음성인 데이터 예측을 Positive 양성으로 잘못 판단하게 되면 업무상 큰 영향이 발생하는 경우입니다.
  • 스팸 메일 등이 예시로 있습니다.

 

정밀도(Precision)과 재현율(Recall)의 맹점

• Precision(정밀도)를 100%로 만드는법
  • 확실한 기준이 되는 경우만 Positive로 예측하고 나머지는 모두 Negative로 예측합니다.
  • 정밀도 = TP / (TP + FP)입니다.
  • 전체 환자 1000명 중 확실한 Positive 징후만 가진 환자는 단 1명이라고 하면 이 한 명만 Positive로 예측하고 나머지는 모두 Negative로 예측하더라도 FP는 0, TP는 1이 되므로 정밀도는 1/(1+0)으로 100%가 됩니다.
• Recall(재현율)을 100%로 만드는법
  • 모든 환자를 Positive로 예측하면 됩니다. 재현율 = TP / (TP + FN)이므로 전체 환자 1000명을 다 Positive로 예측하는 겁니다.
  • 이중 실제 양성인 사람이 30명 정도라도 TN이 수치에 포함되지 않고 FN은 아예 0이므로 30/(30 + 0)으로 100%가 됩니다.

 

Confidence 임곗값에 따른 Precision(정밀도) - Recall(재현율) 변화

• Confidence 임곗값이 낮을 수록 더 많은 예측 Bounding Box를 만들게 되어 정밀도는 낮아지고 재현율은 높아집니다.
• Confidence 임곗값이 높을 수록 예측 Bounding Box를 만드는데 매우 신중하게 되어 정밀도는 높아지고 재현율은 낮아집니다.

즉, Confidence 임계값에 따라서 Precision(정밀도)와 Recall(재현율)의 값이 변화됩니다.

 

* Confidence 임곗값(Confidence threshold)은 머신러닝 모델, 특히 분류 모델이나 객체 검출 모델에서 예측의 신뢰도를 기준으로 양성(positive) 예측을 결정하는 데 사용됩니다.

 

Precision(정밀도) / Recall(재현율) Tradeoff

• Precision Recall Trade-off (정밀도 재현율 트레이드 오프)

• Confidence 임곗값(Threshold)을 조정하면 정밀도 또는 재현율의 수치를 높일 수 있습니다.
• 하지만 정밀도와 재현율은 상호 보완적인 평가 지표이기 때문에 어느 한쪽을 강제로 높이면 다른 하나의 수치는 떨어지기 쉽습니다.
• 이를 정밀도/재현율의 트레이드오프(Trade-off)라고 부릅니다.

 

• Precision-Recall Curve (정밀도 재현율 곡선)

• Recall 값의 변화에 따른(Confidence값을 조정하면서 얻어진) Precision 값을 나타낸 곡선을 정밀도 재현율 곡선이라고 합니다.
• 그리고 이렇게 얻어진 Precision 값의 평균을 AP라고 하며, 일반적으로 정밀도 재현율 곡선의 면적 값으로 계산됩니다.

 

Confidence에 따른 Precision과 Recall의 변화

Confidence에 따른 Precision과 Recall의 변화에 데하여 알아보겠습니다.

 

Confidence를 조정하면 Precision(정밀도)과 Recall(재현율)에 영향을 미치게 됩니다.

 

• Recall(재현율) 증가
  • Confidence threshold가 낮아지면, 모델은 더 많은 사례를 긍정 클래스로 예측하게 됩니다. 이로 인해 True Positive (TP)와 False Positive (FP) 사례가 증가할 수 있습니다.
  • 그러면 True Positive의 증가로 인해 실제 긍정인 사례를 더 많이 찾아내므로 Recall이 증가합니다.

• Precision(정밀도) 감소
  • Confidence threshold가 낮아지면, 모델은 확신이 낮은 사례도 긍정 클래스로 예측하게 됩니다. 이로 인해 False Positive (FP)가 증가할 가능성이 높습니다.
  • 그러면 False Positive의 증가로 인해 모델이 긍정 클래스로 예측한 사례 중 실제로 긍정인 비율이 줄어들게 되어 Precision이 감소합니다.

 

AP(Average Precision) 계산하기

Precision-Recall 곡선의 아래쪽 면적을 측정하는 지표로, 특히 Binary Classification(이진 분류)문제에서 성능을 평가할 때 많이 사용됩니다.

• 다양한 Confidence threshold, 즉 Predict(예측)한 신뢰도를 기준으로 Precision(정밀도)과 Recall(재현율)을 계산한 후, 이들을 기반으로 곡선 아래의 면적을 구하는 방식으로 계산됩니다.
• 또한 곡선 아래의 너비가 AP(Average Precision - 정밀도의 평균)이고, Recall(재현율)의 값이 올라갈수록 오른쪽의 최대 Precision(정밀도)의 값을 연결합니다.

• 개별 11개(0.0 ~ 1.0 까지) Recall 포인트 별로 최대 Precision의 평균 값을 구합니다.

 

mAP(mean Average Precision)

mAP(mean Average Precision)는 여러 클래스가 있는 다중 클래스 분류 문제에서 모델의 성능을 평가하는 데 사용되는 지표입니다. 

• AP(Average Precision - 정밀도의 평균)은 한개의 Object(Class)에 대한 성능 수치입니다. 
• 각 Object(Class)에 대해 개별적으로, AP(Average Precision - 정밀도의 평균)를 계산한후, 모든 Object(Class)의 AP의 평균을 구하여 mAP(mean Average Precision)를 얻습니다.

 

COCO Challenge 에서 mAP(mean Average Precision)

IOU 값에 따른 Precision - Recall (정밀도 - 재현울) Curve

• 예측 성공을 위한 IOU를 0.5 이상으로 고정한 PASCAL VOC와 달리 COCO Challenge는 IOU 를 다양한 범위로 설정하여 예측 성공 기준을 정했습니다.
• IOU 0.5 부터 0.05 씩 값을 증가 시켜 0.95까지 해당하는 IOU별로 mAP를 계산합니다.
  • (AP@[.50:.05:.95] 는 시작 IOU기준: 0.5, 증가 Step: 0.05, 최종 IOU: 0.95 에 따른 AP 값을 의미)
• 또한 크기의 유형(대/중/소)에 따른 mAP도 측정합니다.