[CV] SSD - Single Shot (Multibox) Detector

Object Detection History

크게 3개의 분류로 나눠보겠습니다.

출처: https://arxiv.org/pdf/1905.05055.pdf

1. 전통적인 탐지 방법 (Traditional Detection Methods)

• VJ Detector (P. Viola et al., 2001):
  • 비올라-존스 객체 탐지기라고도 불리는 이 방법은 특징 기반 얼굴 탐지를 위한 알고리즘으로 널리 알려져 있습니다.
• HOG Detector (N. Dalal et al., 2005):
  • Histogram of Oriented Gradients (HOG)는 이미지의 국소적인 방향 정보를 사용하여 객체를 탐지하는 방법입니다.
• DPM (P. Felzenszwalb et al., 2008):
  • Deformable Part Model (DPM)은 물체를 작은 부분들로 분할하여 각 부분의 위치와 형태를 모델링하는 방법입니다.
  • 2010년에는 Bounding Box Regression이 추가되어 성능이 향상되었습니다.

2. 딥러닝 기반 탐지 방법 (Deep Learning Based Detection Methods)

• 2012년 이후:
  • 딥러닝 기반 탐지 방법이 등장하면서 객체 탐지의 패러다임이 전환되었습니다.
  • 특히, AlexNet의 도입으로 인해 딥러닝이 본격적으로 활용되기 시작했습니다.

2-1. Two-Stage Detector

• R-CNN (R. Girshick et al., 2014):
  • Region-based Convolutional Neural Networks (R-CNN)은 이미지에서 후보 영역을 생성하고, 각 영역에 대해 CNN을 적용하여 객체를 분류합니다.
• SPPNet (K. He et al., 2014):
  • Spatial Pyramid Pooling Network는 이미지 크기에 관계없이 고정된 크기의 특징 맵을 생성하여 R-CNN의 단점을 보완합니다.
• Fast R-CNN (R. Girshick, 2015):
  • R-CNN의 느린 속도를 개선한 버전으로, 단일 네트워크에서 영역 제안과 분류를 동시에 수행합니다.
• Faster R-CNN (S. Ren et al., 2015):
  • Region Proposal Network (RPN)를 도입하여 매우 빠른 속도로 영역 제안을 생성하고, 이를 기반으로 객체를 탐지합니다.

2-2. One-Stage Detector

• YOLO (J. Redmon et al., 2016):
  • You Only Look Once (YOLO)는 이미지 전체를 단일 단계로 처리하여 매우 빠른 속도로 객체를 탐지합니다.
• SSD (W. Liu et al., 2016):
  • Single Shot MultiBox Detector (SSD)는 여러 크기의 디폴트 박스를 사용하여 다양한 크기의 객체를 탐지합니다.
• RetinaNet (T. Y. Lin et al., 2017):
  • Focal Loss를 도입하여 클래스 불균형 문제를 해결하고, 성능을 크게 향상시켰습니다.

3. 최신 탐지 방법

• Pyramid Networks (T. Y. Lin et al., 2017):
  • 다양한 해상도의 특징 맵을 사용하여 작은 객체를 더 잘 탐지합니다.

---

SSD Network 구조

한번 SSD Network 구조에 데하여 설명을 해보겠습니다.

1. 입력 이미지

• 크기: 300x300x3
  • 입력 이미지의 크기는 300x300 픽셀이며, RGB 채널을 사용합니다.

2. VGG-16 기반 특징 추출기

• Conv4_3 레이어:
  • 38x38x512 크기의 특징 맵을 출력합니다.
  • VGG-16 네트워크의 Conv5_3 레이어까지 사용하여 특징을 추출합니다.

3. Extra Feature Layers (추가 특징 레이어)

• Conv6 (FC6):
  • 19x19x1024 크기의 특징 맵을 출력합니다.
  • Convolution 레이어로 변환된 완전 연결 (fully connected) 레이어입니다.
• Conv7 (FC7):
  • 19x19x1024 크기의 특징 맵을 출력합니다.
  • Convolution 레이어로 변환된 또 다른 완전 연결 레이어입니다.

4. 추가 Convolution 레이어

• Conv8_2:
  • 10x10x512 크기의 특징 맵을 출력합니다.
  • 두 개의 Convolution 레이어 (Conv 3x3x256-s2, Conv 3x3x512-s1)로 구성되어 있습니다.
• Conv9_2:
  • 5x5x256 크기의 특징 맵을 출력합니다.
  • 두 개의 Convolution 레이어 (Conv 3x3x128-s2, Conv 3x3x256-s1)로 구성되어 있습니다.
• Conv10_2:
  • 3x3x256 크기의 특징 맵을 출력합니다.
  • 두 개의 Convolution 레이어 (Conv 3x3x128-s2, Conv 3x3x256-s1)로 구성되어 있습니다.
• Conv11_2:
  • 1x1x256 크기의 특징 맵을 출력합니다.
  • 두 개의 Convolution 레이어 (Conv 3x3x128-s2, Conv 3x3x256-s1)로 구성되어 있습니다.

5. Classifier (분류기)

• 각 특징 맵에 대해 Convolution 연산을 통해 객체 클래스와 위치를 예측합니다.
• Conv4_3 레이어:
  • 38x38x(4x(Classes+4)) 크기의 출력을 생성합니다.
• Conv7 레이어:
  • 19x19x(6x(Classes+4)) 크기의 출력을 생성합니다.
• Conv8_2, Conv9_2, Conv10_2, Conv11_2 레이어:
  • 각각 10x10, 5x5, 3x3, 1x1 크기의 출력에서 (4x(Classes+4))를 생성합니다.

6. Detections (디텍션)

• 8732 per Class:
  • 다양한 크기와 비율의 anchor box를 사용하여 최종적으로 8732개의 예측 박스를 생성합니다.
  • 각 박스는 클래스 확률과 위치 좌표를 포함합니다.

---

SSD 주요 구성 요소

SSD Network은 주요 2개의 구성 요소로 이루어져 있습니다. 
Multi Scale Feature Layer, Default (Anchor) Box 2개로 구성됩니다.

Multi Scale Feature Layer

• Multi Scale Feature Layer는 SSD(Single Shot MultiBox Detector)의 핵심 구성 요소로, 객체의 크기와 위치에 따라 다양한 해상도의 특징 맵을 사용하여 객체를 탐지합니다.
• 이러한 다중 해상도 특징 맵은 작은 객체부터 큰 객체까지 다양한 크기의 객체를 효과적으로 탐지할 수 있게 합니다.

Default (Anchor) Box

• Default Box(Anchor Box)는 SSD에서 특정 위치에서 다양한 크기와 비율의 객체를 예측하기 위해 사용됩니다.
• 각 특징 맵의 픽셀 위치에서 여러 개의 anchor box를 생성하고, 이를 기준으로 객체의 위치와 크기를 조정합니다.

---

이미지 Scale 조정에 따른 여러 크기의 Object Detection

사진을 보면 원래의 image에서 sliding window 방식을 이용해서 Object detection을 합니다.

• 그리고 Scale(크기)를 줄여서 다시 Object detection을 하는 방식으로 계속 반복하다가, Object를 탐지하면 알고리즘의 동작이 멈춥니다.

• 이렇게 이미지 피라미드의 개념을 도입해서 Ground Truth에 기반하여 이미지 크기를 줄이는 방식으로 Object Detection을 합니다.

---

다른 크기의 Feature Map을 이용한 Object Detection

서로 다른 크기의 Feature Map(CNN Architecture)들을 기반으로 Object Detection 수행합니다.

• 첫번째 Feature Map은 원본 이미지의 위치 정보를 가지며, Size가 작아지면서 축약, 핵심적인 이미지 특징으로 변경됩니다.
• 결론은 Feature Map Size가 작을수록 큰 Object가 잘 Detect 됩니다.

---

Feature Map기반의 Multi-Scale Feautre Layer

앞에서 설명하듯이, Feature Map의 크기가 작을수록 더 큰 이미지를 찾을 수 있습니다.

---

Anchor Box 기반의 Object Detection 모델– Faster RCNN

• Faster R-CNN은 Region Proposal Network (RPN)을 사용하여 객체 탐지 성능을 향상시킨 모델로, 두 단계로 이루어져 있습니다. Region Proposal Network와 Fast R-CNN.

1. Convolutional Network

• 기본 특징 맵 생성:
  • 입력 이미지를 Convolutional Network를 통해 기본 특징 맵을 생성합니다.
  • 이 특징 맵은 이후의 Region Proposal Network와 객체 분류 및 경계 박스 조정에 사용됩니다.

2. Region Proposal Network (RPN)

• Region Proposal Network (RPN):
  • RPN은 기본 특징 맵을 입력으로 받아서 객체가 있을 법한 영역(Region Proposal)을 생성합니다.
  • 각 위치마다 여러 크기와 비율의 anchor box를 사용하여 객체의 존재 여부를 예측합니다.
  • RPN의 출력은 잠재적 객체 위치의 후보 영역(Region Proposal)들로, 이는 이후의 Fast R-CNN 단계에서 사용됩니다.

RPN의 주요 구성 요소

• Convolution Layer:
  • 입력 특징 맵을 받아서 고정된 크기의 필터를 적용하여 특징을 추출합니다.
• Anchor Box:
  • 각 위치마다 다양한 크기와 비율의 anchor box를 생성하여 객체를 예측합니다.
  • 일반적으로 3가지 크기와 3가지 비율의 anchor box를 사용하여 총 9개의 anchor box를 생성합니다.
• Objectness Score:
  • 각 anchor box에 대해 객체가 있을 확률을 예측하는 점수입니다.
  • 클래스의 개수가 2개(객체, 배경)인 softmax 분류기를 통해 계산됩니다.
• Bounding Box Regression:
  • 각 anchor box에 대해 위치 조정을 위한 경계 박스 오프셋을 예측합니다.

3. ROI Pooling

• ROI Pooling:
  • RPN에서 제안된 후보 영역을 사용하여 입력 특징 맵에서 해당 영역의 특징을 추출합니다.
  • 이 과정에서 모든 후보 영역을 고정된 크기의 특징 맵으로 변환합니다.

4. Object Classification and Bounding Box Regression

• Fully Connected Layer:
  • ROI Pooling을 통해 얻은 고정 크기의 특징 맵을 입력으로 받아서 객체 분류 및 경계 박스 조정을 수행합니다.
• Object Classification:
  • 각 후보 영역에 대해 객체의 클래스(예: 사람, 자동차 등)를 예측합니다.
  • softmax를 사용하여 클래스 확률을 계산합니다.
• Bounding Box Regression:
  • 각 후보 영역에 대해 경계 박스를 조정하여 더 정확한 객체 위치를 예측합니다.
  • 연속된 값(좌표)을 예측하기 위해 회귀(regression)를 사용합니다.

Summary
- Convolutional Network:기본 특징 맵 생성.
- Region Proposal Network (RPN):Anchor box를 사용하여 객체의 잠재적 위치(Region Proposal) 예측.
- ROI Pooling:Region Proposal을 고정된 크기의 특징 맵으로 변환.
- Object Classification and Bounding Box Regression:후보 영역에 대해 객체 분류와 경계 박스 조정.

---

RPN에서의 Anchor Box의 활용

Classification (분류)

• 각 Anchor Box는 객체를 포함하는지 여부에 따라 Positive(양성) 또는 Negative(음성)로 분류됩니다.
• 이미지 중앙에 있는 개의 얼굴을 예로 들면, 개를 포함하는 Anchor Box는 Positive로 분류되고, 그렇지 않은 Anchor Box는 Negative로 분류됩니다.
• Positive Anchor Box는 객체(Ground Truth Box)와 높은 IoU(Intersection over Union)를 가지며, 이 경우 개의 얼굴을 포함한 Anchor Box들이 Positive로 분류되었습니다.
• 반면, 개의 얼굴을 포함하지 않은 Anchor Box들은 Negative로 분류되었습니다.

Bounding Box Regression (경계 박스 회귀)

• Positive로 분류된 Anchor Box들은 경계 박스 회귀를 통해 정확한 객체 위치로 조정됩니다.
• Ground Truth Box (실제 객체 위치를 나타내는 상자)와 비교하여 Positive Anchor Box의 위치와 크기를 조정합니다.
• 회귀 모델은 Anchor Box의 중심 좌표(x, y), 너비(w), 높이(h)를 조정하는 오프셋(Δx, Δy, Δw, Δh)을 예측하여 Predicted Anchor Box (예측된 객체 위치 상자)를 만듭니다.
• 이미지에서는 Positive Anchor Box가 Ground Truth Box에 맞춰 조정된 모습을 보여줍니다.

---

Anchor box 를 활용한 Object Detection

Anchor Box를 활용한 Object Detection에서는 개별 Anchor Box가 다음 정보들을 가질 수 있도록 학습합니다.

• Anchor Box와 겹치는 Feature Map 영역의 Object 클래스를 분류합니다.
• 이때 Ground Truth 위치를 예측할 수 있도록 좌표를 수정합니다.

• 또한 개별 Anchor Box별로 Detection 하려는 Object 유형의 Softmax 함수값, 수정 좌표 값을 가져와서 Anchor Box를 활용한 학습을 할떄 활용합니다.

---

SSD Network 구성

SSD (Single Shot MultiBox Detector) 네트워크의 다양한 크기의 특징 맵과 그로부터 생성된 Anchor Box들을 설명해 보겠습니다.

1. 38x38 특징 맵

• 크기: 38x38
• Anchor Box 개수: 각 위치마다 4개의 Anchor Box
• 총 Anchor Box 수: 38 x 38 x 4 = 5776

2. 19x19 특징 맵

• 크기: 19x19
• Anchor Box 개수: 각 위치마다 6개의 Anchor Box
• 총 Anchor Box 수: 19 x 19 x 6 = 2166

3. 10x10 특징 맵

• 크기: 10x10
• Anchor Box 개수: 각 위치마다 6개의 Anchor Box
• 총 Anchor Box 수: 10 x 10 x 6 = 600

4. 5x5 특징 맵

• 크기: 5x5
• Anchor Box 개수: 각 위치마다 6개의 Anchor Box
• 총 Anchor Box 수: 5 x 5 x 6 = 150

5. 3x3 특징 맵

• 크기: 3x3
• Anchor Box 개수: 각 위치마다 4개의 Anchor Box
• 총 Anchor Box 수: 3 x 3 x 4 = 36

6. 1x1 특징 맵

• 크기: 1x1
• Anchor Box 개수: 각 위치마다 4개의 Anchor Box
• 총 Anchor Box 수: 1 x 1 x 4 = 4

총합

• 총 Anchor Box 수: 5776 + 2166 + 600 + 150 + 36 + 4 = 8732

객체 탐지와 NMS (Non-Maximum Suppression)

• Object Detection:
  • 8732개의 Anchor Box는 각각 객체의 클래스와 위치를 예측합니다.
  • 이 과정에서 많은 Anchor Box가 중복되거나 겹칠 수 있습니다.
• NMS (Non-Maximum Suppression):
  • 겹치는 예측을 제거하여 최종적으로 가장 유망한 객체 위치만 남깁니다.
  • NMS는 높은 신뢰도를 가진 박스를 우선적으로 선택하고, 겹치는 박스들을 제거하는 과정입니다.

---

Anchor 박스를 활용한 Convolution Predictors for detection

SSD (Single Shot MultiBox Detector) 네트워크에서 38x38 크기의 특징 맵을 사용하여 객체 탐지와 분류를 수행하는 과정을 설명합니다.

• 보시면, Feature Map에서 3x3 Convolution Cell에 있습니다. 개별 셀로 하나씩 분해를 해보면 4개의 좌표로 나뉩니다.
• 각 4개의 위치마가 4개의 Anchor Box가 할당되어 있으며, 각 Box에 데하여 객체의 클래스 & 위치를 예측합니다.
• 이때 Class Probabiltiy (클래스 확률)를 도출합니다. 
  • 20개의 객체 Class와 1개의 배경 클래스 - 총 21개의 클래스 확률을 예측합니다.
  • 그후, Bounding Box Offset (위치 오프셋) 값을 예측합니다. 이 값은 각 Anchor Box의 위치를 조정하기 위한 값입니다.
  • 그리고 Bounding Box Offset (위치 오프셋) 값은 4개의 Offset값 (W, Y, W, H)으로 구성됩니다.
  • X와 Y는 Anchor Box의 중심 좌표, W와 H는 Anchor Box의 너비와 높이를 나타냅니다.
• 결과적으로, 각 위치에서 총 4개의 Anchor Box x (21개의 클래스 확률 + 4개의 위치 오프셋) = 100개의 예측 값이 생성됩니다.

---

SSD의 Multi Scale Feature Map과 Anchor Box 적용

고양이로 예시를 한번 들어보겠습니다.

• 여기서 고양이를 탐지한 박스를 Matching Box라고 합니다. Classification의 역할을 수행하며 Ground Turth와 가까워 지기 위해 노력합니다.
• 그리고 8x8 Feature Map에서 Ground Truth와 매칭된 고양이의 Bounging Box를 그립니다. 
• 그후, 4x4 Feature Map을 한번 봐보면, 더 낮은 해상도로 추출되는 대신, 더 객체 탐지를 유리하게 하기 위해 size를 줄입니다.
  • 그리고 4x4 Feature Map을 보면 Location (loc) 와 Confidence (conf)가 있습니다. 설명을 해보면
  • Location (loc):
    • 각 Anchor Box의 위치를 조정하는 오프셋 값입니다.
    • (cx,cy,w,h)(c_x, c_y, w, h)(cx​,cy​,w,h)로 표시되며, Anchor Box의 중심 좌표와 너비 및 높이를 나타냅니다.
  • Confidence (conf):
    • 각 Anchor Box가 특정 클래스에 속할 확률을 나타내는 값입니다.
    • (c1,c2,⋯ ,cp)(c_1, c_2, cdots, c_p)(c1​,c2​,⋯,cp​)로 표시되며, 각 클래스에 대한 확률을 나타냅니다.
    • 여기서 ppp는 클래스의 수를 의미합니다.

---

SSD Training

• 여기서 우리가 알아야 할건 Matching 전략, Loss 함수 라는 것이 있습니다.

Matching 전략은 Bounding box와 겹치는 IOU가 0.5 이상인 Default(Anchor) Box 들의 Classification과 Boudning box Regression을 최적화 학습을 수행하는 전략입니다.

• Loss 함수는 전체 손실 함수와 분류 손실 (Classification Loss), 위치 손실 (Localization Loss)이 있습니다.

전체 Loss Function - Parameter

• N: 매치된 Default Box(Anchor Box)의 개수
• Lconf(x,c): 분류 손실 (Classification Loss)
• Lloc(x,l,g): 위치 손실 (Localization Loss)
• α: 위치 손실의 중요도를 조정하는 가중치

분류 손실 (Classification Loss)

• 분류 손실은 각 Anchor Box가 특정 클래스에 속할 확률을 예측하는 손실입니다.
• 클래스 확률 예측에서 발생하는 오차를 계산합니다.
• 일반적으로 소프트맥스(Softmax) 함수와 크로스 엔트로피(Cross-Entropy) 손실을 사용합니다.

위치 손실 (Localization Loss)

• 위치 손실은 예측된 경계 박스와 실제 경계 박스(Ground Truth Box) 간의 위치 차이를 최소화하는 손실입니다.
• 여기서 Pos는 Positive Anchor Box(객체를 포함하는 Anchor Box)를 나타냅니다.
• xk^ij​: 매치된 Anchor Box와 Ground Truth Box 간의 인덱스 매칭을 의미합니다.
• smoothL1: Smooth L1 손실 함수, 회귀 문제에서 자주 사용됩니다.
• l^mi​: 예측된 위치 값 (Anchor Box의 중심 좌표와 크기)
• g^mj​: 실제 위치 값 (Ground Truth Box의 중심 좌표와 크기)

---

Bounding Box Regression

Bounding Box Regression은 예측된 Anchor Box를 실제 객체의 위치에 맞추기 위해 위치 오프셋을 조정합니다.

• 그림을 보면, 그림에서 파란색 상자는 Default Box(Anchor Box), 빨간색 상자는 Ground Truth Box를 나타냅니다.
• Δ(cx,cy,w,h)는 Default Box에서 Ground Truth Box로의 위치 및 크기 오프셋을 나타냅니다.
• 위치 손실은 이 오프셋을 최소화하여 예측된 Anchor Box가 실제 객체 위치와 일치하도록 학습합니다.

---

Design choice별 Performance

SSD300은 SSD Network가 300x300을 의미합니다. 

 

• Data Augmentation을 진행할때 아래의 절차에 따라서 진행합니다.
• GT Object와 IOU가 0.1, 0.3, 0.5, 0.7, 0.9가 될 수 있도록 특정 Object들의 Image를 잘라냅니다.
• 잘라낸 이미지를 random 하게 sampling 합니다.
• 잘라낸 sample 이미지는 0.1 ~ 1사이로, aspect ratio는 1/2 ~ 2 사이로 크기를 맞춥니다.
• 개별 sample 이미지를 다시 300x300 으로 고정. 그리고 그중 50%는 horizontal flip 입니다.
  • horizontal flip은 Data에 인위적인 변화를 준다 -> Data Augmentation입니다.

여기서 짚고 넘어가야 하는건, 작은 Object Detect시 성능이 떨어지는 이유합니다.
이유는, Feature Map에 Anchor Base하는 Object Detection Model이 사용되기 때문입니다.
또한 One-Stage Detector 문제가 발생해서 성능이 떨어집니다. 그래서 해결책은 Feature Pyramid 방식을 사용합니다.

---

작은 Object의 Detection 성능 & Data Augmentation 후 작은 Object의 Detection 성능

작은 Object의 Detection 성능

Data Augmentation 후 작은 Object의 Detection 성능 향상

 

• 요약을 해보자면, Data Augmentation (데이터 증강) 전
  • 작은 객체(XSS, S)와 극단적인 비율의 객체 탐지 성능이 낮았습니다.
  • SSD512 모델이 SSD300 모델보다 더 나은 성능을 보여주었지만, 여전히 작은 객체 탐지에는 한계가 있었습니다.
• Data Augmentation (데이터 증강) 후
  • 작은 객체와 극단적인 비율의 객체 탐지 성능이 크게 향상되었습니다.
  • SSD300과 SSD512 모두 데이터 증강을 통해 작은 객체 탐지 성능이 개선되었습니다.

---

SSD Detection 성능 및 수행 시간 비교

• 정리를 해보면, SSD 모델은 작은 객체 탐지 성능이 우수하며, 특히 SSD512 모델이 가장 높은 성능을 보여줍니다.
• 또한 데이터셋이 다양해질수록 성능이 향상됩니다.
• 그리고, Faster R-CNN은 높은 정확도를 보이지만, 속도가 느립니다.
• YOLO는 매우 빠른 속도를 보이지만, 정확도가 상대적으로 낮습니다.
• SSD 모델은 빠른 속도와 높은 정확도의 균형을 잘 맞춘 모델로, 특히 SSD300은 속도와 정확도 모두 우수합니다.