[CV] YOLO (You Only Look Once)

YOLO (You Only Look Once)

 

YOLO(You Only Look Once)은 실시간 객체 탐지 시스템으로, 이미지나 비디오에서 여러 객체를 동시에 탐지하고 분류하는 딥러닝 기반의 알고리즘입니다.

YOLO: Real-Time Object Detection

• YOLO의 가장 큰 장점은 빠른 속도와 높은 정확도입니다.

 

YOLO의 원리

• 단일 신경망을 사용한 전체 이미지 처리: YOLO는 이미지를 여러 부분으로 나누지 않고, 전체 이미지를 한 번에 처리합니다.
• Grid Cell 로 이미지 분할: 이미지를 그리드 셀로 나눕니다. 각 그리드 셀은 특정 객체를 포함할 확률과 그 객체의 경계 상자(Bounding Box) 좌표를 예측합니다.
• 경계 상자 예측: 각 그리드 셀은 BBB개의 경계 상자를 예측합니다. 경계 상자는 중심 좌표 (x,y, 너비 w, 높이 h, 그리고 객체 클래스에 대한 확률 값을 포함합니다.
• 클래스 확률 지도: 각 그리드 셀은 특정 클래스에 속할 확률을 예측합니다. 최종 객체 탐지는 경계 상자의 확률과 클래스 확률을 곱한 값이 가장 높은 것을 선택합니다.

 

YOLO의 특징

• 속도: YOLO는 이미지 당 한 번의 신경망 평가로 객체를 탐지합니다. 이는 매우 빠른 속도를 제공합니다. 
• 전체 이미지 맥락 이용: YOLO는 전체 이미지를 고려하여 예측을 수행하므로, 다른 객체 탐지 알고리즘보다 적은 수의 false positives(잘못된 탐지)가 발생합니다.
• 종단간 훈련: 이미지 분할, 객체 탐지, 그리고 클래스 예측의 모든 단계를 단일 신경망이 동시에 처리합니다.

 

YOLO v3 성능

Speed + Accuracy

 

• YOLO v3 모델은 기존 모델보다 다양한 다지안 개선을 통해 성능이 향상되었습니다.
• 320x320 해상도에서는 22ms의 추론 시간과 28.2 mAP를 기록하며, SSD와 동일한 정확도를 유지하면서 세 배 더 빠릅니다.
• 또한, 416x416 해상도에서는 29ms의 추론 시간과 31.0 mAP, 608x608 해상도에서는 51ms의 추론 시간과 33.0 mAP를 기록합니다. 다른 모델과 비교할 때, YOLOv3는 매우 빠른 속도와 높은 정확도를 자랑하며, RetinaNet보다 3.8배 빠른 성능을 보여줍니다.
• 이러한 특성 덕분에 자율주행, 감시 시스템 등 다양한 실시간 응용 분야에서 널리 사용되고 있습니다.

---

YOLO Version

• YOLOv1: 첫 번째 버전으로, 이미지 당 한 번의 예측을 수행하는 단일 신경망을 사용합니다. 빠른 Detection 속도를 보였지만, 정확도가 낮다는 단점이 있었습니다.
• YOLOv2 (또는 YOLO9000): 기존 버전보다는 더 높은 정확도와 빠른 속도를 위해 몇 가지 개선 사항이 추가되었습니다. 예를 들어, anchor boxes를 도입하여 경계 상자 예측을 더 잘하게 만들었습니다. 또한, 다중 스케일 학습을 통해 다양한 크기의 객체를 더 잘 탐지할 수 있습니다.
• YOLOv3: 다양한 크기의 객체를 더 잘 탐지할 수 있도록 multi-scale detection 기능을 추가했습니다. 이를 통해 작은 객체와 큰 객체 모두에 대해 높은 탐지 성능을 보여줍니다. 그리고 수행시간은 조금 기존 버전보다는 느려졌으나, 성능이 대폭 개선되었다는 점이 있습니다.
• YOLOv4, YOLOv5: 성능 최적화를 통해 더 빠르고 정확한 객체 탐지가 가능해졌습니다. YOLOv4는 CSPDarknet-53 백본 네트워크와 최신 기법들을 적용하여 성능을 극대화했으며, YOLOv5는 PyTorch로 구현되어 사용이 간편하고 확장성이 뛰어납니다. 이들 버전은 높은 효율성과 정확도로 실시간 응용 분야에서 탁월한 성능을 제공합니다.

---

YOLO - V1

• Yolo v1 은 입력 이미지를 S X S Grid로 나누고 각 Grid의 Cell이 하나의 Object에 대한 Detection을 수행합니다.
• 각 Grid Cell 이 2개의 Bounding Box 후보를 기반으로 Object의 Bounding Box 를 예측하는 방식입니다.

 

YOLO-V1 Detection Model

YOLO V1 모델의 Inference를 한번 설명해 보겠습니다.

Inference 과정

입력 이미지 (Input image)

• 크기 (Size): 448×448×3
• 설명 (Description): 색상 채널(RGB)을 포함한 448x448 크기의 입력 이미지를 사용합니다.

Convolutional Layers 및 GoogLeNet 수정 (20 layers)

• 설명 (Description): 입력 이미지는 다수의 Convolutional Layers를 거칩니다. 이 과정에서 이미지의 특징이 추출됩니다. 여기서는 GoogLeNet을 수정하여 20개의 레이어를 사용합니다.

Fully Connected Layers (FC)와 ReLU 활성화 함수 (R)

• 설명 (Description): Convolutional Layers 이후에는 Fully Connected Layers가 뒤따릅니다. 이 레이어들은 이미지의 전역 정보를 통합하여 최종 예측에 기여합니다.

최종 출력 (7x7x30 Tensor)

• 설명 (Description): 최종적으로 7x7x30 크기의 텐서로 출력이 변환됩니다. 이 텐서는 각 그리드 셀이 예측한 정보를 포함하고 있습니다.

 

텐서 값 해석 (Tensor values interpretation)

• 설명 (Description): 출력 텐서는 S×S×(B×5+C) 형태로 해석됩니다. 여기서 S는 그리드 셀의 크기 (여기서는 7x7), B는 각 셀에서 예측한 경계 상자 수 (여기서는 2), C는 클래스 수 (여기서는 20)입니다. 따라서 텐서 크기는 7×7×30이 됩니다.

세부 구조 (Detailed Structure):

• 각 그리드 셀은 30개의 값을 예측합니다:
  • 5개의 값: 각 경계 상자마다 (x, y, w, h, confidence)
  • 20개의 클래스 확률 값.

 

예측 해석 (Prediction Interpretation)

그리드 셀 예측 (Grid Cell Prediction)

• 설명 (Description): 입력 이미지가 7x7 그리드로 나뉘어지고, 각 셀은 객체가 해당 셀 안에 있는지를 예측합니다. 빨간색 박스는 그리드 셀이 탐지한 객체의 위치를 나타냅니다.

경계 상자 (Bounding Box)와 클래스 확률 (Class Probabilities)

• 설명 (Description): 각 그리드 셀은 B개의 경계 상자를 예측합니다. 각 경계 상자는 중심 좌표(x, y), 너비(w), 높이(h), 그리고 confidence score(객체가 포함될 확률)를 포함합니다. 각 경계 상자는 클래스 확률과 곱해져 최종 탐지 결과를 도출합니다.

Detection Procedure

• 설명 (Description): 최종적으로 모든 그리드 셀의 예측을 통합하여 객체의 위치와 클래스를 결정합니다. 예측된 경계 상자와 클래스 확률을 사용하여 이미지에 객체를 탐지하고, 결과를 시각화합니다.

각 Grid Cell 별로 아래를 계산합니다.
A. 2개의 Bounding Box 후보의 좌표와 해당 Box별

Confidence Score
Confidence Score = 오브젝트일 확률 * IOU 값
x, y, w, h : Ground Truth box와 후보 Box간 offset 좌표
B. 클래스 확률. Pascal VOC 기준 20개 클래스의 확률

---

NMS(Non Max Suppression)으로 최종 Bbox 예측

개별 클래스별 NMS를 수행하여 최종 Bounding Box를 예측하는 과정을 한번 설명해 보겠습니다.

 

개별 Class 별 NMS 수행

1. 특정 Confidence 값 이하는 모두 제거합니다.
2. 가장 높은 Confidence값을 가진 순으로 Bounding Box를 정렬합니다.
3. 가장 높은 Confidence를 가진 Bounding Box와 IOU와 겹치는 부분이 IOU Threshold 보다 큰 Bounding Box는 모두 제거합니다.
4. 남아 있는 Bounding Box에 대해 3번 Step을 반복합니다.

Object Confidence와 IOU Threshold로 Filtering을 조절합니다.

---

YOLO-V1 Issue

Detection 시간은 빠르나 Detection 성능이 떨어집니다. 특히 작은 Object에 대한 성능이 나쁩니다.

---

YOLO v1, v2, v3 비교

• YOLOv1은 446x446 크기의 이미지를 Inception 변형 네트워크로 처리하며, 각 그리드 셀이 2개의 앵커 박스를 예측합니다.
• YOLOv2는 416x416 크기의 이미지를 사용하며, Darknet 19 네트워크를 채택하고, 각 그리드 셀이 5개의 앵커 박스를 예측합니다.앵커 박스는 K-Means 클러스터링으로 결정됩니다.
• YOLOv3는 416x416 크기의 이미지를 Darknet 53 네트워크로 처리하고, 다양한 크기의 Feature Map을 사용하여 총 9개의 앵커 박스를 예측합니다.
• 이 버전에서는 13x13, 26x26, 52x52 크기의 세 가지 Feature Map을 사용하며, Feature Pyramid Network(FPN) 기법을 통해 다양한 크기의 객체를 더 잘 탐지할 수 있습니다.

---

YOLO-v2

YOLO-v2 Detection 시간 및 성능

 

• YOLOv2는 PASCAL VOC 2007 데이터셋에서 높은 정확도(mAP)와 빠른 처리 속도(FPS)를 보여줍니다. 다른 모델들에 비해 전반적으로 뛰어난 성능을 보입니다.
• MS-COCO 데이터셋에서도 YOLOv2는 높은 성능을 유지하며, 특히 큰 객체에 대해 우수한 탐지 성능을 보여줍니다. 작은 객체에 대한 탐지 성능은 상대적으로 낮지만, 여전히 전반적으로 균형 잡힌 성능을 제공합니다.
• YOLOv2는 정확도와 속도를 모두 중요시하는 응용 분야에서 매우 효과적인 모델임을 입증합니다.

---

YOLO v2의 특징

• Batch Normalization
  • 각 컨볼루션 레이어 뒤에 배치 정규화를 적용하여 모델의 학습을 안정화하고, 과적합(overfitting)을 줄입니다.
• High Resolution Classifier
  • 네트워크의 분류(Classifier) 단을 더 높은 해상도(448x448)로 미세 조정(fine-tuning)합니다.
• 13 x 13 Feature Map 기반의 Anchor Box
  • 13 x 13 크기의 Feature Map을 사용하여 객체를 탐지합니다.
  • 각 Grid cell은 5개의 Anchor Box를 기반으로 객체를 예측합니다.
  • Anchor Box를 통해 다양한 크기와 형태의 객체를 효과적으로 탐지할 수 있습니다.
• Darknet-19 Classification 모델 채택
  • YOLOv2는 Darknet-19 모델을 기반으로 합니다.
  • Darknet-19는 19개의 Convolutional 레이어와 5개의 Max-Pooling 레이어로 구성된 경량의 효율적인 분류 네트워크입니다.
• 다양한 크기의 이미지로 네트워크 학습
  • 서로 다른 크기의 이미지들을 사용하여 네트워크를 학습시킵니다.
  • 이를 통해 모델은 다양한 해상도의 이미지에서 일관되게 높은 성능을 발휘할 수 있습니다.

---

YOLO-v2 Network 구조

 

• Conv 3x3: 3x3 크기의 Convolution Layer(컨볼루션 레이어)로 Feature(특징)을 추출합니다.
• Maxpool: Maxpooling Layer(최대 풀링 레이어)로 공간 해상도를 줄이고 중요한 Feature(특징)을 추출합니다.
• Conv 1x1: 1x1 크기의 Convolution Layer(컨볼루션 레이어)로 채널 수를 줄이거나 늘립니다.
• Passthrough Module: 낮은 해상도에서 높은 해상도로 특징을 전달하여 작은 객체에 대한 탐지 성능을 향상시킵니다.
• Merge Module: 다양한 크기의 Featuer Map(특성 맵)을 병합하여 더 풍부한 특징을 추출합니다.

---

Yolo v2 Anchor Box로 1 Cell에서 여러 개 Object Detection

• SSD와 마찬가지로 1개의 Cell에서 여러 개의 Anchor를 통해 개별 Cell에서 여러 개 Object Detection이 가능합니다.
• K-Means Clustering 을 통해 데이터 세트의 이미지 크기와 Shape Ratio 따른 5개의 군집화 분류를 하여 Anchor Box를 계산합니다.

---

YOLO v2 Output Feature Map

간단하게 사진의 내용을 정리해보겠습니다.

 

• Grid Cell: 13x13 크기의 그리드로 나뉘어, 각 셀이 객체를 탐지합니다.
• Bounding Box: 각 그리드 셀은 5개의 Bounding Box를 예측하며, 각 Bounding Box는 25개의 정보를 포함합니다.
• Bounding Box 속성: 중심 좌표, 너비, 높이, 객체 포함 확률, 클래스 확률 등이 포함되어 있습니다.

---

One Stage Detector

One-stage object detectors는 객체 탐지에서 단일 신경망을 사용하여 이미지를 처리하고 객체의 위치와 클래스를 동시에 예측하는 접근 방식입니다. 이 접근 방식은 속도가 빠르고 실시간 응용 프로그램에 적합합니다.

YOLOv1 (You Only Look Once)

• 출시: 2016년
• 주요 특징:
  • 이미지 전체를 한 번에 처리하여 객체를 탐지합니다.
  • 단일 컨볼루션 신경망을 사용하여 전체 이미지에서 객체를 예측합니다.
  • 빠른 속도와 비교적 높은 정확도를 자랑합니다.
• 단점: 작은 객체에 대한 탐지 성능이 낮고, 객체가 밀집된 상황에서 성능이 떨어집니다.

 

SSD (Single Shot MultiBox Detector)

• 출시: 2016년
• 주요 특징:
  • 다양한 크기의 디폴트 박스(default boxes)를 사용하여 객체를 탐지합니다.
  • 여러 해상도의 피처 맵(feature map)에서 예측을 수행하여 다양한 크기의 객체를 탐지합니다.
  • 균형 잡힌 정확도와 속도를 제공합니다.
• 단점: 고해상도 객체에 대한 탐지 성능이 상대적으로 낮습니다.

 

YOLOv2 (YOLO9000)

• 출시: 2017년
• 주요 특징:
  • 앵커 박스(anchor boxes)를 도입하여 경계 상자 예측 성능을 개선하였습니다.
  • 다중 스케일 학습을 통해 다양한 크기의 객체 탐지 성능이 향상되었습니다.
  • 배치 정규화(batch normalization)와 고해상도 분류기(high resolution classifier)를 사용합니다.
• 장점: 높은 정확도와 빠른 속도, 다양한 크기의 객체를 탐지할 수 있습니다.

 

RetinaNet

• 출시: 2017년
• 주요 특징:
  • 포컬 로스(Focal Loss)를 도입하여 클래스 불균형 문제를 해결합니다.
  • ResNet과 FPN(Feature Pyramid Network)을 백본 네트워크로 사용합니다.
  • 높은 정확도와 우수한 성능을 제공합니다.
• 단점: YOLO 시리즈에 비해 다소 느립니다.

 

YOLOv3

• 출시: 2018년
• 주요 특징:
  • Darknet-53 백본 네트워크를 사용합니다.
  • 다중 스케일 예측: 세 가지 다른 크기에서 예측을 수행하여 다양한 크기의 객체를 탐지합니다.
  • 개선된 앵커 박스와 로지스틱 회귀를 사용합니다.
• 장점: 높은 mAP(mean Average Precision)과 빠른 추론 속도를 자랑합니다.

 

Feature Pyramid Network (FPN)

• 설명: 다양한 크기의 객체를 효과적으로 탐지하기 위해 다중 스케일 피처를 통합하는 기법입니다.
• 특징:
  • 피라미드 구조를 사용하여 서로 다른 해상도의 피처 맵에서 객체를 탐지합니다.
  • 고해상도와 저해상도 피처 맵을 결합하여 다양한 크기의 객체 탐지 성능이 향상됩니다.
  • RetinaNet과 같은 모델에서 사용되어 높은 정확도를 제공합니다.

---

YOLO-v3

YOLO v3의 특징

• Feature Pyramid Network (FPN) 유사한 기법 적용
  • 설명: YOLOv3는 Feature Pyramid Network(FPN)와 유사한 기법을 적용하여 다중 스케일 객체 탐지를 수행합니다.
  • 특징: 3개의 서로 다른 크기와 스케일을 가진 Feature Map에서 각각 3개의 Anchor Box를 사용하여 객체를 탐지합니다.
    • 13x13 크기의 Feature Map: 큰 객체를 탐지합니다.
    • 26x26 크기의 Feature Map: 중간 크기의 객체를 탐지합니다.
    • 52x52 크기의 Feature Map: 작은 객체를 탐지합니다.
  • 장점: 다양한 크기의 객체를 효과적으로 탐지할 수 있으며, 작은 객체에 대한 탐지 성능이 크게 향상됩니다.
• 높은 분류 성능을 가지는 Darknet-53
  • 설명: YOLOv3는 Darknet-53을 백본 네트워크로 사용합니다.
  • 특징: Darknet-53은 53개의 Convolutional Layer로 구성된 깊은 신경망입니다.
  • 장점: 더 높은 특징 추출 능력을 제공하여 객체 탐지의 정확도를 향상시킵니다. 이전 버전의 Darknet-19보다 더 깊고 강력한 모델입니다.
• Multi-Label 예측
  • 설명: YOLOv3는 개별 객체에 대해 다중 레이블을 예측할 수 있는 능력을 갖추고 있습니다.
  • 특징: Softmax 대신 Sigmoid 기반의 Logistic Classifier를 사용하여 각 객체에 대해 다중 레이블을 예측합니다.
  • 장점: 한 객체가 여러 클래스에 속할 수 있는 경우에도 정확하게 예측할 수 있습니다. 예를 들어, 한 객체가 동시에 '개'와 '애완동물'일 수 있습니다.

---

YOLO v3 Network 구조

먼저, 요약내용을 설명드리면, Multi-Scale Object Detection을 위한 FPN (Feature Pyramid Network) 기법이 적용되어 있습니다.

 

 

• Backbone Network: Darknet-53
  • YOLOv3는 53개의 Convolution Layer로 구성된 Darknet-53을 Backbone Network로 사용합니다.
  • 이 Backbone Network는 이미지에서 고수준의 특징을 추출합니다.
• Residual Blocks
  • 네트워크는 Residual Blocks를 사용하여 학습 속도를 향상시키고, 깊은 네트워크에서 발생할 수 있는 Gradient Loss 문제를 완화합니다.
  • Residual Blocks는 입력을 출력에 더하는 스킵 연결(skip connection)을 포함합니다.
• Feature Pyramid Network (FPN)
  • YOLOv3는 FPN 기법을 적용하여 다중 스케일에서 객체를 탐지합니다.
  • 3개의 서로 다른 크기의 Feature Map을 사용하여 다양한 크기의 객체를 탐지합니다.
    • Scale 1: 13x13 Feature Map (Stride: 32) - 큰 객체 탐지
    • Scale 2: 26x26 Feature Map (Stride: 16) - 중간 크기 객체 탐지
    • Scale 3: 52x52 Feature Map (Stride: 8) - 작은 객체 탐지
• Detection Heads
  • 각 Feature Map은 각각의 Detection Head를 통해 객체를 예측합니다.
  • 각 Detection Head는 3개의 Anchor Box를 사용하여 객체의 경계 상자와 클래스 확률을 예측합니다.
  • 이로써 각 Feature Map에서 총 9개의Anchor Box를 사용하여 객체를 탐지합니다.
• Upsampling and Merging
  • 높은 해상도의 Feature Map에서 예측을 더 잘하기 위해 낮은 해상도의 Feature Map을 Upsampling하여 높은 해상도의 Feature Map과 병합합니다.

---

YOLO와 SSD의 비교

3가지의 주제로 비교를 한번 해보겠습니다

 

 

• Feature Map의 해상도:
  • YOLOv2는 단일 해상도(13x13)만 사용합니다.
  • YOLOv3는 3개의 해상도(52x52, 26x26, 13x13)를 사용합니다.
  • SSD는 6개의 해상도(1x1, 2x2, 3x3, 5x5, 10x10, 19x19)를 사용합니다.
• 다중 스케일 객체 탐지:
  • YOLOv3와 SSD는 다중 스케일 객체 탐지를 지원하여 다양한 크기의 객체를 보다 효과적으로 탐지할 수 있습니다.
  • YOLOv2는 단일 해상도를 사용하므로 상대적으로 다중 스케일 객체 탐지에 제한적입니다.
• 작은 객체 탐지 성능:
  • YOLOv3와 SSD는 작은 객체에 대한 탐지 성능이 뛰어남. 이는 작은 크기의 Feature Map을 사용하여 더 세밀한 탐지를 가능하게 하기 때문입니다.
  • YOLOv2는 단일 해상도(13x13)로 인해 작은 객체에 대한 탐지 성능이 상대적으로 낮습니다.

---

YOLO v3 Output Feature Map

 

• YOLOv3는 다양한 크기의 객체를 탐지하기 위해 13x13, 26x26, 52x52 크기의 세 가지 Feature Map을 사용합니다.
• 각 Feature Map은 해당 해상도에서 객체를 탐지하며, 여러 개의 Anchor Box를 사용하여 경계 상자와 클래스 확률을 예측합니다.
• 이때, Bounding Box들의 Attribute들을 한번 알아보면?
  • Box Coordinates (tx, ty, tw, th): Bounding Box의 중심 좌표 (tx, ty)와 너비 (tw), 높이 (th)를 나타냅니다. aka. 좌표값
  • Objectness Score (p0): 해당 앵커 박스가 객체를 포함할 확률을 나타냅니다. aka. Object 포함 확률 x IOU
  • Class Scores (p1, p2, ..., pc): 각 클래스에 대한 확률을 나타냅니다. 이때 class의 score들을 나타내기 위하여 사용하는 Dataset들은 Pretrained된 Coco Dataset입니다.
• 또한 각 Anchor Box는 총 B개의 정보를 예측합니다. 여기서 B는 Anchor Box의 수입니다.

---

Darknet-53 특성

 

• Top-1 정확도: 77.2%
• Top-5 정확도: 93.8%
• Bn Ops (Billion Operations): 18.7
• BFLOP/s (Billion Floating Point Operations per Second): 1457
• FPS (Frames Per Second): 78

 

• 초기 Convolutional Layer: 32개의 3x3 필터 (출력: 256x256).
• 이후 Residual Block: 각 블록은 1x1과 3x3 Convolutional Layer로 구성, 블록마다 출력 크기는 절반으로 줄어듭니다.
• 최종 레이어: Global Average Pooling, Fully Connected Layer, Softmax Layer.

Darknet-53은 YOLOv3의 백본 네트워크로 사용되며, 높은 특징 추출 능력을 제공합니다.
Residual Block을 사용하여 깊은 네트워크에서도 효율적인 학습이 가능하며, 기울기 소실 문제를 완화합니다.

---

Training

YOLO v3 모델이 Training되는 Flow를 한번 설명해 보겠습니다.

 

• 데이터 준비 (Data Preparation)
  • Annotation 파일: XML 형식의 주석 파일을 사용하여 각 이미지에 대한 객체의 위치와 클래스 정보를 저장합니다. 예시에서는 PASCAL VOC 형식을 따릅니다.
    • <object> 태그 내에 객체의 클래스 이름과 Bounding Box 좌표(xmin, ymin, xmax, ymax)가 포함됩니다.
• 데이터 증강 (Data Augmentation)
  • 학습 데이터의 다양성을 높이기 위해 다양한 변환을 적용합니다.
  • 이미지 회전, 크기 조정, 색상 변화 등을 통해 모델이 다양한 상황에 대응할 수 있도록 학습합니다.
• 다중 스케일 학습 (Multi-Scale Training)
  • YOLOv3는 다양한 크기의 이미지를 사용하여 학습합니다. 이를 통해 모델이 여러 해상도의 객체를 인식할 수 있도록 합니다.
  • 이미지의 해상도를 주기적으로 변경하여 모델이 다양한 크기의 객체를 학습하도록 합니다.
• 피처 맵 생성 (Feature Map Generation)
  • Prediction Feature Map: 입력 이미지가 네트워크를 통과하면서 다양한 크기의 Feature Map이 생성됩니다.
  • 13x13, 26x26, 52x52 Feature Map: 서로 다른 크기의 객체를 탐지하기 위해 여러 해상도의 Feature Map을 사용합니다.
• 앵커 박스 설정 (Anchor Box Setting)
  • 설명: 각 그리드 셀에서 여러 개의 앵커 박스를 사용하여 객체를 예측합니다.
  • 구성 요소:
    • Box Coordinates (tx,ty,tw,th​): Bounding Box의 중심 좌표와 크기.
    • Objectness Score (p0p_0p0​): 해당 박스가 객체를 포함할 확률.
    • Class Scores (p1,p2,...,pc): 각 클래스에 대한 확률.
• 예측 (Prediction)
  • 설명: 각 Feature Map의 Grid Cell에서 Anchor Box를 사용하여 객체의 위치와 클래스를 예측합니다.
  • 과정:
    • 각 Grid Cell은 여러 Anchor Box를 통해 객체를 예측합니다.
    • 예측된 Bounding Box와 클래스 확률을 통해 최종 객체 탐지 결과를 도출합니다.

---

Location Prediction

 

 

• 그리드 셀 내의 Bounding Box 중심 계산
  • 모델이 예측한 tx, ty​ 값은 Sigmoid Function(시그모이드 함수)를 통해 0에서 1 사이로 조정됩니다.
  • 이 값은 그리드 셀의 오프셋 cx​, cy​에 더해져 Bounding Box의 중심 좌표 bxx​, by​를 계산합니다.
  • 이렇게 하면 Bounding Box의 중심이 해당 Grid Cell 내에 위치하게 됩니다.
• Bounding Box 크기 계산
  • 모델이 예측한 tw​, th​ 값은 각각 Anchor Box의 너비 pw와 높이 ph에 지수 함수를 적용하여 곱해집니다.
  • 이를 통해 최종 Bounding Box의 너비 bw와 높이 bh를 얻습니다.
• 객체 확률 계산
  • 모델이 예측한 객체 확률 값 to는 Sigmoid Function(시그모이드 함수)를 통해 0에서 1 사이로 조정됩니다.
  • 이 값은 해당 Bounding Box가 객체를 포함할 확률을 나타냅니다.

모델이 예측한 객체 확률 값 σ(to​)를 적용 하는 이유는 Center(중앙) 좌표가 Cell 중심을 너무 벗어나지 않도록 0~1 사이의 Sigmoid 값으로 조절합니다. 이유는 적용하지 않으면 이미지 끝으로가거나 벗어날 수 있기 때문입니다. 

---

Multi Label 예측

YOLO v3 모델은 최종 Detection 단계에서 Softmax Function(소프트맥수 함수)를 안씁니다.
대신, 여러개의 독립적인 Logistic Classifier를 사용합니다. (클래스 별로)

 

---

YOLO v3 성능 비교

COCO AP 기준 성능 비교

YOLOv3

• mAP: YOLOv3-320: 28.2, YOLOv3-416: 31.0, YOLOv3-608: 33.0
• 추론 시간: YOLOv3-320: 22ms, YOLOv3-416: 29ms, YOLOv3-608: 51ms
• 특징: 빠른 속도와 높은 정확도를 제공합니다. 작은 모델(YOLOv3-320)은 특히 빠른 추론 시간을 가집니다.

RetinaNet

• mAP: RetinaNet-50: 32.5, RetinaNet-101: 34.4
• 추론 시간: RetinaNet-50: 73ms, RetinaNet-101: 90ms
• 특징: 높은 정확도 제공하지만 YOLOv3보다 추론 시간이 더 깁니다.

SSD

• mAP: SSD321: 28.0, SSD513: 31.2
• 추론 시간: SSD321: 61ms, SSD513: 125ms
• 특징: 중간 정도의 정확도와 추론 시간. YOLOv3보다 성능이 떨어집니다.

다른 모델

• R-FCN: mAP: 29.9, 추론 시간: 85ms
• FPN FRCN: mAP: 36.2, 추론 시간: 172ms

COCO mAP-50 기준 성능 비교

YOLOv3

• mAP-50: YOLOv3-320: 51.5, YOLOv3-416: 55.3, YOLOv3-608: 57.9
• 추론 시간: YOLOv3-320: 22ms, YOLOv3-416: 29ms, YOLOv3-608: 51ms
• 특징: 높은 mAP-50 제공. 특히 YOLOv3-608은 가장 높은 mAP-50과 빠른 추론 시간을 가집니다.

RetinaNet

• mAP-50: RetinaNet-50: 53.1, RetinaNet-101: 57.5
• 추론 시간: RetinaNet-50: 73ms, RetinaNet-101: 198ms
• 특징: 높은 mAP-50 제공하지만, 추론 시간이 상대적으로 깁니다.

SSD

• mAP-50: SSD321: 45.4, SSD513: 50.3
• 추론 시간: SSD321: 61ms, SSD513: 125ms
• 특징: 중간 정도의 성능 제공. YOLOv3보다 성능이 떨어집니다.

다른 모델

• R-FCN: mAP-50: 51.9, 추론 시간: 85ms
• FPN FRCN: mAP-50: 59.1, 추론 시간: 172ms