[CV] Object Detection 방식 & 성능 평가

이번 글에서는 한번 Object Detection의 방식들이 어떤것이 있는지 한번 알아보겠습니다.

Sliding Window 방식

Sliding Window 방식은 Window를 왼쪽 상단부터 오른쪽 하단으로 이동시키면서 Object를 Detection 하는 방식입니다.
약간 촘촘히, 세밀하게 window를 이동시키면서 객체 탐지를 하는 방식입니다.

• 이미지를 작은 영역으로 나누고, 각각의 작은 영역(윈도우)에서 객체가 존재하는지를 탐지하는 방법입니다.
• 장점은 많은 영역을 Scan 할수 있는것, Window의 형태랑 Image Scale을 다양하게 변경할 수 있다는 점입니다.
• 단점은 Object 없는 영역도 무조건 슬라이딩 하여야 하며 여러 형태의 Window와 여러 Scale을 가진 이미지를 스캔해서 검출해야 하므로 수행 시간이 오래 걸리고 검출 성능이 상대적으로 낮습니다.
• Region Proposal(영역 추정) 기법의 등장으로 활용도는 떨어졌지만 Object Detection 발전을 위한 기술적 토대 제공했다는 점이 있습니다.

이렇게 Window를 촘촘, 세밀하게 이동시키면서 객체 탐지를 합니다.

Slicing Window 방식 과정

진행 방식은 아래와 같습니다.

1. 윈도우 크기 설정: 탐지하고자 하는 객체의 크기에 따라 윈도우의 크기를 정합니다. 이 윈도우는 이미지 전체에 걸쳐 이동할 것입니다.
2. 윈도우 이동: 윈도우를 이미지의 시작점에서부터, 일반적으로 좌측 상단에서 우측 하단 방향으로, 지정된 스텝 크기만큼 이동시키며 각 위치에서 객체를 탐지합니다.
3. 객체 탐지: 각 윈도우 위치에서, 이미 정의된 객체 탐지 알고리즘(예: Haar feature-based cascade classifiers, SVM 등)을 사용하여 윈도우 내부에 객체가 있는지 판단합니다.
4. 결과 처리: 각 윈도우에서의 탐지 결과를 종합하여, 최종적으로 객체의 위치를 결정합니다. 이때 여러 윈도우에서 중복으로 객체를 탐지했을 수 있으므로, 중복 제거 과정(non-max suppression)을 거쳐 최종 탐지 결과를 정리합니다.

---

Region Proposal (영역 추정) 방식

"Object가 있을 만한 후보 영역을 찾자" 이러한 개념으로 영역 추정을 하는 방식으로 Object Detection을 합니다.

Region Proposal (영역 추정) 방식의 주요 과정

• 이 방법은 이미지 내에서 객체가 존재할 가능성이 높은 영역들을 먼저 식별하고, 그 후에 식별된 영역들을 대상으로 객체 탐지를 수행하는 방식입니다.
• 이러한 접근 방식은 계산 비용을 크게 줄일 수 있으며, 처리 속도와 정확도를 동시에 향상시킬 수 있습니다.

 

Selective Search – Region Proposal의 대표 방법

Seltective Search는 이미지 내에서 높은 정확도로 객체가 위치할 가능성이 있는 영역을 신속하게 추정하는 데 중점을 둡니다.

• Selective Search는 이미지 세분화(image segmentation) 기술을 기반으로 합니다.
• 빠른 Detection과 높은 Recall 예측 성능을 동시에 만족하는 알고리즘입니다.
• 컬러, 무늬(Texture), 크기(Size), 형태(Shape)에 따라 유사한 Region을 계층적 그룹핑 방법으로 계산합니다.
• Selective Search는 최초에는 Pixel Intensity기반한 graph-based segment 기법에 따라 Over Segmentation을 수행했습니다.
  • (각각의 object들이 1개의 개별 영역에 담길 수 있도록 많은 초기 영역을 생성 by Felzenszwalb and Huttenlocher 2004)

Selective Search의 진행과정

• 특징은, 원본 이미지에서 Segmentation을 적용할 때 각 픽셀 값에 기반해서 Object가 될수 있는 규칙은 알고리즘을 적용합니다.
• 그 후, image들의 특정 영역을 Segmentation을 적용합니다. (pixel by pixel)

 

Selective Search의 수행 Process

어떠한 과정으로 Selective Search의 수행 Process가 실행되는지 한번 알아보겠습니다.

1. 개별 Segment된 모든 부분들을 Bounding box로 만들어서 Region Proposal 리스트로 추가합니다.
2. 컬러, 무늬(Texture), 크기(Size), 형태(Shape)에 따라 유사도가 비슷한 Segment들을 그룹핑합니다.
3. 다시 1번 Step Region Proposal 리스트 추가, 2번 Step 유사도가 비슷한 Segment들 그룹핑을 계속 반복 하면서 Region Proposal을 수행합니다.

Selective Search의 수행 Process를 시각화 해놓은 그림입니다.

 

selective search를 이용하여 Object Detection을 위한 Region Proposal 영역을 도출

그러면 한번 코드를 돌려서 영억을 한번 도출을 보겠습니다.

• 일단 사진을 확인하기 위해서 Matplotlib으로 시각화를 해보겠습니다.

import selectivesearch
import cv2
import matplotlib.pyplot as plt
%matplotlib inline

### 오드리헵번 이미지를 cv2로 로드하고 matplotlib으로 시각화 
img = cv2.imread('/content/drive/MyDrive/딥러닝 컴퓨터 비전 가이드/Deep_learning computer Vision Guide/data/image/audrey01.jpg')
img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
print('img shape:', img.shape)

plt.figure(figsize=(8, 8))
plt.imshow(img_rgb)
plt.show()

 

# selective_search 함수를 이용하여 img_rgb 이미지에서 Region Proposal을 생성합니다.
# scale 매개변수는 이미지 세분화 시 세그먼트의 크기를 조정하며, min_size는 생성되는 최소 영역의 크기를 지정합니다.
_, regions = selectivesearch.selective_search(img_rgb, scale=100, min_size=2000)

# regions의 타입과 길이를 출력합니다.
print(type(regions), len(regions))

 

반환된 Region Proposal(후보 영역)에 대한 정보 보기.

반환된 regions 변수는 리스트 타입으로 세부 원소로 딕셔너리를 가지고 있습니다. 이건 개별 딕셔너리내 KEY값을 의미합니다.

• rect 키값은 x,y 시작 좌표와 너비, 높이 값을 가지며 이 값이 Detected Object 후보를 나타내는 Bounding box 입니다.
• size는 Bounding box의 크기입니다.
• labels는 해당 rect로 지정된 Bounding Box내에 있는 오브젝트들의 고유 ID를 의미합니다.
• 아래로 내려갈 수록 너비와 높이 값이 큰 Bounding box이며 하나의 Bounding box에 여러개의 오브젝트가 있을 확률이 커집니다.

[{'rect': (0, 0, 107, 167), 'size': 11166, 'labels': [0.0]},

• Regions를 출력하면 위에 처럼 결과가 나옵니다.
• 의미하는건 'rect': (0, 0, 107, 167) 에서 (0, 0)은 Bounding Box의 좌상단 좌표, 107은 Width(너비), 167은 Height(높이)를 의미합니다.

# rect정보만 출력해서 보기
cand_rects = [cand['rect'] for cand in regions]
print(cand_rects)

• 그러면 한번 Bounding Box를 한번 시각화를 해서 보겠습니다.

# opencv의 rectangle()을 이용하여 시각화
# rectangle()은 이미지와 좌상단 좌표, 우하단 좌표, box컬러색, 두께등을 인자로 입력하면 원본 이미지에 box를 그려줌. 

# RGB 색상으로 녹색을 정의.
green_rgb = (125, 255, 51)

# 원본 이미지의 복사본을 생성. 복사본에 사각형을 그려 원본 이미지를 변경하지 않.
img_rgb_copy = img_rgb.copy()

# cand_rects 리스트의 각 사각형 영역(rect)에 대해 반복 수행.
for rect in cand_rects:
    
    # 좌상단 좌표를 추출.
    left = rect[0]
    top = rect[1]
    
    # rect[2]와 rect[3]는 각각 너비와 높이이므로, 우하단 좌표를 계산하기 위해 좌상단 좌표에 더합니다.
    right = left + rect[2]
    bottom = top + rect[3]
    
    # cv2.rectangle 함수를 사용하여 이미지에 사각형을 그립니다.
    # 좌상단 좌표 (left, top)과 우하단 좌표 (right, bottom)를 사용하며, 사각형의 색상은 녹색, 두께는 2로 설정됩니다.
    img_rgb_copy = cv2.rectangle(img_rgb_copy, (left, top), (right, bottom), color=green_rgb, thickness=2)
    

plt.figure(figsize=(8, 8))
plt.imshow(img_rgb_copy)
plt.show()

그러면 사진에 Bounding Box가 잡혀서 나오는걸 알 수 있습니다.

 

Bounding Box의 크기가 큰 후보만 추출

4단계로 나뉩니다. 영역필터링, 초기 설정, Bounding Box 그리기, 이미지 시각화로 나뉩니다.

# regions에서 각 후보 영역의 사이즈가 10,000 이상인 것만을 선택하여 cand_rects 리스트를 생성합니다.
cand_rects = [cand['rect'] for cand in regions if cand['size'] > 10000]

# 사각형의 색상으로 녹색을 정의합니다.
green_rgb = (125, 255, 51)
# 원본 이미지의 복사본을 생성합니다. 작업 중 원본 이미지는 변경되지 않습니다.
img_rgb_copy = img_rgb.copy()

# 필터링된 사각형 영역들을 반복하며 이미지에 사각형을 그립니다.
for rect in cand_rects:
    # 사각형의 좌상단 좌표를 추출합니다.
    left = rect[0]
    top = rect[1]
    # 너비와 높이를 사용하여 사각형의 우하단 좌표를 계산합니다.
    right = left + rect[2]
    bottom = top + rect[3]
    # OpenCV의 rectangle 함수를 이용하여 이미지 복사본에 사각형을 그립니다.
    img_rgb_copy = cv2.rectangle(img_rgb_copy, (left, top), (right, bottom), color=green_rgb, thickness=2)

# matplotlib 라이브러리를 사용하여 이미지를 시각화합니다.
plt.figure(figsize=(8, 8))
plt.imshow(img_rgb_copy)
plt.show()

• 이렇게 결과로 보이듯이, 위의 결과와는 다르게 큰 Bounding Box만 추출 하는것을 볼 수 있습니다.

---

Object Detection 성능 평가 Metric - IoU: Intersection over Union

IoU는 예측된 경계 상자(Bounding Box)와 실제 객체의 경계 상자 간의 오버랩을 측정하는 방법으로,
모델이 예측한 결과와 실측(Ground Truth) Box가 얼마나 정확하게 겹치는가를 나타내는 지표입니다.

• IoU의 계산을 다음과 같이 진행됩니다.

IoU = Area of Union / Area of Overlap​

• 여기서, Area of Overlap은 예측된 상자와 실제 상자가 겹치는 영역의 면적입니다.
• Area of Union은 예측된 상자와 실제 상자가 합쳐진 영역의 면적입니다.
  • 즉 두 상자의 면적 합에서 겹치는 부분의 면적을 뺀 값입니다.
• IoU의 값 해석
  • 1.0: 완벽한 겹침. 예측된 상자와 실제 상자가 정확히 일치합니다.
  • 0.0: 전혀 겹치지 않음. 예측된 상자와 실제 상자 사이에 겹치는 영역이 없습니다.
• 일반적으로, IoU의 값이 높을수록 객체 탐지 모델의 성능이 좋다고 평가합니다.
• 만약 IoU 값이 0.5 이상인 경우에 객체 탐지를 성공적으로 한 것으로 간주합니다.
• 그러면 한번 IoU를 구해보겠습니다.

이렇게 IoU에 따른 Detection의 성능을 나타냅니다.

 

IoU 구하기

입력인자로 후보 Box와 실제 Box를 받아서 IoU를 계산 하는 함수를 만들어서 계산을 해보겠습니다.

 

• IoU 계산 함수 코드

import numpy as np 

def compute_iou(cand_box, gt_box):
    # 각 경계 상자의 좌표를 비교하여 겹치는 영역의 좌상단과 우하단 좌표를 계산합니다.
    # np.maximum과 np.minimum을 사용하여 각 좌표의 최대 및 최소값을 찾아 겹치는 영역을 정의합니다.
    x1 = np.maximum(cand_box[0], gt_box[0])
    y1 = np.maximum(cand_box[1], gt_box[1])
    x2 = np.minimum(cand_box[2], gt_box[2])
    y2 = np.minimum(cand_box[3], gt_box[3])
    
    # 겹치는 영역의 너비와 높이를 계산합니다. 값이 음수인 경우 0으로 설정하여 겹치는 영역이 없음을 표시합니다.
    intersection = np.maximum(x2 - x1, 0) * np.maximum(y2 - y1, 0)
    
    # 후보 상자(cand_box)와 실제 상자(gt_box)의 너비와 높이를 계산하여 각 상자의 면적을 구합니다.
    cand_box_area = (cand_box[2] - cand_box[0]) * (cand_box[3] - cand_box[1])
    gt_box_area = (gt_box[2] - gt_box[0]) * (gt_box[3] - gt_box[1])
    
    # 합집합 영역을 계산합니다: 두 상자의 면적 합에서 겹치는 영역의 면적을 빼줍니다.
    union = cand_box_area + gt_box_area - intersection
    
    # IoU를 계산합니다. 겹치는 영역을 합집합으로 나눈 값입니다.
    iou = intersection / union
    return iou

 

• 사진을 불러와서 시각화 하는 코드

import cv2
import matplotlib.pyplot as plt
%matplotlib inline

# 실제 box(Ground Truth)의 좌표를 아래와 같다고 가정. 
gt_box = [60, 15, 320, 420]

img = cv2.imread('/content/drive/MyDrive/딥러닝 컴퓨터 비전 가이드/Deep_learning computer Vision Guide/data/image/audrey01.jpg')
img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

red = (255, 0 , 0)
img_rgb = cv2.rectangle(img_rgb, (gt_box[0], gt_box[1]), (gt_box[2], gt_box[3]), color=red, thickness=2)

plt.figure(figsize=(8, 8))
plt.imshow(img_rgb)
plt.show()

• Selective Search Code

# selective_search 함수를 이용하여 img_rgb 이미지에서 Region Proposal을 생성합니다.
# scale 매개변수는 이미지 세분화 시 세그먼트의 크기를 조정하며, min_size는 생성되는 최소 영역의 크기를 지정합니다.
_, regions = selectivesearch.selective_search(img_rgb, scale=100, min_size=2000)

# regions의 타입과 길이를 출력합니다.
print(type(regions), len(regions))

 

• regions에서 받은 후보 영역(cand_rects)에 대해 각각의 cand_box를 조정하고,
• 실제 객체 영역인 gt_box와의 IoU(Intersection over Union)를 계산하여 출력하는 과정을 담은 코드입니다.

# regions로부터 각 후보의 사각형 경계('rect')를 추출하여 cand_rects 리스트에 저장합니다.
cand_rects = [cand['rect'] for cand in regions]

# cand_rects 리스트를 순회하며 각 후보 상자의 인덱스와 값을 가져옵니다.
for index, cand_box in enumerate(cand_rects):
    # cand_box는 튜플이므로 리스트로 변환하여 수정 가능하게 합니다.
    cand_box = list(cand_box)
    
    # cand_box의 너비와 높이 값을 좌표 값으로 변환합니다.
    # cand_box[2]와 cand_box[3]는 원래 너비와 높이이므로 이를 좌상단 좌표에 더하여 우하단 좌표를 구합니다.
    cand_box[2] += cand_box[0]
    cand_box[3] += cand_box[1]
    
    # 수정된 cand_box와 주어진 gt_box(실제 객체 영역)의 IoU를 계산합니다.
    iou = compute_iou(cand_box, gt_box)
    
    # 각 후보 상자의 인덱스와 계산된 IoU 값을 출력합니다.
    print('index:', index, "iou:", iou)

 

• 이 코드를 실행하면 아래처럼 각 index 별로 IoU 값이 나옵니다.

index: 0 iou: 0.0
index: 1 iou: 0.0713319505816575
index: 2 iou: 0.1134453781512605
index: 3 iou: 0.9874899187876287
index: 4 iou: 0.9748907882241216
index: 5 iou: 0.09851851851851852
index: 6 iou: 0.04228869895536562
index: 7 iou: 0.15042735042735042
index: 8 iou: 0.14541310541310543
index: 9 iou: 0.10112060778727446
index: 10 iou: 0.1194681861348528
index: 11 iou: 0.14017094017094017

 

• 이 코드는 주어진 regions 데이터에서 특정 조건(size > 5000)을 만족하는 후보 영역들을 필터링하고, 이들을 정렬하는 과정을 수행하는 코드입니다.

# regions 리스트에서 각 후보 영역의 'size' 속성이 5000 초과인 후보들만을 선택하여 cand_rects 리스트에 저장합니다.
cand_rects = [cand['rect'] for cand in regions if cand['size'] > 5000]

# cand_rects 리스트를 사전 순으로 정렬합니다. 
# 여기서 각 후보 영역(rect)은 (x1, y1, width, height)의 튜플 형태로 가정되며, Python의 기본 정렬은 튜플의 첫 번째 요소부터 비교합니다.
# 따라서 x1 값에 따라 정렬되며, 같은 x1 값을 가진 요소는 y1 값에 따라 정렬됩니다.
cand_rects.sort()

# 정렬된 cand_rects 리스트를 출력합니다.
cand_rects

 

• 그러면 이제, Object Detection을 위해 이미지에서 특정 조건을 만족하는 후보 영역들을 추출하고, 이들 영역에 대한 IoU (Intersection over Union) 값을 계산하여 이미지에 시각화하는 과정을 해보겠습니다.

img = cv2.imread('/content/drive/MyDrive/딥러닝 컴퓨터 비전 가이드/Deep_learning computer Vision Guide/data/image/audrey01.jpg')
# BGR 색상 형식의 이미지를 RGB 색상 형식으로 변환합니다.
img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
# 이미지의 형태(크기, 채널)를 출력합니다.
print('img shape:', img.shape)

# gt_box를 정의하고 실제 객체의 경계 상자를 그립니다. 여기서 'red'가 정의되지 않았으므로 적절한 색상 값으로 대체해야 합니다.
green_rgb = (125, 255, 51)
gt_box = [60, 15, 320, 420]
img_rgb = cv2.rectangle(img_rgb, (gt_box[0], gt_box[1]), (gt_box[2], gt_box[3]), color=green_rgb, thickness=2)

# 'regions'에서 특정 크기 이상의 후보 상자만 선택합니다.
cand_rects = [cand['rect'] for cand in regions if cand['size'] > 3000]
# 후보 상자를 순회하면서 각 상자에 대한 IoU를 계산하고, 조건에 맞는 경우에만 텍스트와 상자를 그립니다.
for index, cand_box in enumerate(cand_rects):
    # 후보 상자의 크기를 조정합니다.
    cand_box = list(cand_box)
    cand_box[2] += cand_box[0]
    cand_box[3] += cand_box[1]
    
    # IoU를 계산합니다.
    iou = compute_iou(cand_box, gt_box)
    
    # IoU가 0.5 이상인 경우, 상자를 그리고 인덱스와 IoU 값을 텍스트로 추가합니다.
    if iou > 0.5:
        print('index:', index, "iou:", iou, 'rectangle:', (cand_box[0], cand_box[1], cand_box[2], cand_box[3]))
        cv2.rectangle(img_rgb, (cand_box[0], cand_box[1]), (cand_box[2], cand_box[3]), color=green_rgb, thickness=1)
        text = "{}: {:.2f}".format(index, iou)
        cv2.putText(img_rgb, text, (cand_box[0] + 100, cand_box[1] + 10), cv2.FONT_HERSHEY_SIMPLEX, 0.4, color=green_rgb, thickness=1)

plt.figure(figsize=(12, 12))
plt.imshow(img_rgb)
plt.show()

 

IoU (Intersection over Union) 값을 계산하여 이미지에 시각화하는 과정을 수행한 결과입니다.

---

NMS (Non Max Supression)

NMS (Non-Max Suppression, 비최대 억제)는 컴퓨터 비전, 특히 객체 탐지에서 중복 검출된 객체들을 정제하는 과정에서 사용되는 알고리즘입니다.

• 객체 탐지 과정에서 하나의 객체에 대해 여러 개의 Bounding box가 생성될 수 있습니다.
• Object Detection 알고리즘은 Object 가있을 만한 위치에 많은 Detection을 수행하는 경향이 강합니다.
• 여기서 NMS는 Detected 된 Object의 Bounding box중에 비슷한 위치에 있는 box를 제거하고 가장 적합한 box를 선택하는 기법 입니다. 일종의 filtering 입니다.

NMS 방식을 적용전, 후와 차이

 

NMS (Non Max Supression)의 수행 로직

수행 Logic은 다음과 같이 진행됩니다.

1. Detected 된 bounding box별로 특정 Confidence threshold 이하 bounding box를 먼저 제거합니다.
   • (Confidence score < 0.5)
2. 가장 높은 confidence score를 가진 box 순으로 내림차순 정렬하고 아래 로직을 모든 box에 순차적으로 적용합니다.
   • 높은 Confidence score를 가진 box와 겹치는 다른 box를 모두 조사하여 IOU가 특정 threshold 이상인 box를 모두 제거합니다.
   • (예: IOU Threshold > 0.4 )
   • 즉, Confidence Score가 제일 높은것만 산다는 의미입니다.
3. 남아 있는 box만 선택합니다.

• 주요한 특징은 Confidence Score가 높을수록, IoU Threshold가 낮을수록 많은 Box가 제거됩니다.

---

Object Detection 성능 평가 Metric - mAP (mean Average Precision)

mAP (mean Average Precision)는 객체 탐지(object detection) 분야에서 모델의 성능을 평가하는 데 사용되는 주요 지표 중 하나입니다.

• 실제 Object가 Detected된 재현율(Recall)의 변화에 따른 정밀도(Presion)의 값을 평균한 성능 수치 입니다.
• 이 메트릭은 다양한 클래스에 대한 모델의 정확성을 평가하고, 그 결과를 평균내어 제공합니다. 특히 다양한 객체를 탐지해야 하는 상황에서 그 성능을 전체적으로 이해하는 데 유용합니다.

mAP의 계산 방법

mAP를 이해하기 위해서는 먼저 Precision과 Recall이라는 두 기본 개념을 알아야 합니다:

• Precision은 모델이 객체라고 탐지한 것들 중 실제로 객체인 것의 비율입니다.
• Recall은 실제 객체 중에서 모델이 객체로 탐지한 비율입니다.
• 객체 탐지에서는 각 클래스에 대해 여러 개의 Precision-Recall 쌍을 계산하게 되는데, 이는 다양한 IoU (Intersection over Union) 임계값을 적용하여 얻어집니다.
• 각 클래스에 대해, Precision을 Recall의 함수로 그린 곡선 아래의 면적을 Average Precision(AP)이라고 합니다.
• 다시 말해, AP는 해당 클래스에 대한 Precision-Recall 곡선 아래의 면적입니다.
• mAP는 다음과 같이 계산됩니다:

1. 각 클래스별 AP 계산: 모든 클래스에 대해 AP를 계산합니다.
2. 클래스별 AP 평균 계산: 모든 클래스의 AP 값들의 평균을 계산합니다.

 

• 그러면 재현율(Recall), 정밀도(Presion)이 무슨말일까요? 그건 다음글에서 한번 알아 보겠습니다.