[CV] Faster R-CNN (Faster Region-based Convolutional Neural Network)

Faster R-CNN

Faster R-CNN은 R-CNN 계열의 Object Detection 모델 중에서 가장 진보된 모델 중 하나로, Object Detection 에서 매우 높은 정확도와 효율성을 제공합니다.
또한 Region Proposal Network (RPN)를 도입하여 전체 시스템의 속도와 정확도를 크게 향상시켰습니다.

• Faster R-CNN은 RPN(Region Proposal Network) + Fast R-CNN이 합쳐진 모델입니다.
• 기존 Selective Search가 수행하던 Object 위치에 Bounding Box를 그려서 추천합니다. (GPU 사용)
• 또한 Region Proposal Network를 사용합니다. (Selective Search 역할)
• 그리고 Network로만 구성이 되었다는 특징이 있습니다.

 

Faster R-CNN 구조

한번 Faster R-CNN 구조에 데하여 한번 알아보겠습니다.

• 주오한 특징은 Selective Search를 Neural Network 구조로 변경 했다는 특징이 있습니다
• 또한 GPU 사용으로 빠른 학습  및 Inference 처리가 가능합니다.
• *End-to-end Network 학습 방식을 채택하고 있습니다.

*End-to-end Network는 입력 데이터로부터 최종 출력까지의 전체 과정을 하나의 모델이 직접 처리하는 시스템을 의미합니다. 이는 중간 단계에서 별도의 수작업, 추가적인 처리 없이, 모델이 처음부터 끝까지 모든 작업을 자동으로 수행하는 것을 뜻합니다.

• 그러면 한번 한단계 한단계 설명해 보겠습니다.

1. 입력 이미지 처리

• 입력 이미지는 CNN에 입력되어 특징 맵을 생성합니다.

2. 공통 CNN 적용

• Convolutional Network: 입력 이미지를 CNN에 통과시켜 특징 맵(feature map)을 생성합니다.
  • 일반적으로 VGG-16, ResNet과 같은 사전 학습된 모델을 사용합니다.

3. Region Proposal Network (RPN)

• RPN (Region Proposal Network): 특징 맵을 입력받아 객체가 있을 가능성이 높은 영역을 제안하는 신경망입니다.
• RPN은 슬라이딩 윈도우 방식을 사용하여 특징 맵을 스캔하면서 각 위치에서 여러 크기와 비율의 앵커 박스(anchor boxes)를 생성합니다.
• 각 앵커 박스에 대해 객체일 가능성(objectness score)과 바운딩 박스 좌표를 예측합니다.
• 높은 객체 가능성을 가진 앵커 박스들은 Region Proposal로 선택됩니다.

4. RoI Pooling Layer

• RoI Pooling (Region of Interest Pooling): RPN에서 제안된 Region Proposal은 RoI Pooling Layer로 전달됩니다.
• RoI Pooling Layer는 각 Region Proposal을 고정된 크기의 피처 맵으로 변환합니다.
• 이는 다양한 크기의 Region Proposal을 동일한 크기로 변환하여 이후 단계에서 일관된 처리를 가능하게 합니다.

5. Fully-Connected Layer - FC(완전 연결 층)

• RoI Pooling Layer의 출력을 완전 연결 층에 입력하여 객체의 클래스를 예측하고, 바운딩 박스 좌표를 회귀합니다.

6. Softmax Clasifier(클래스 분류) 및 Bounding Box Regression(바운딩 박스 회귀)

• Softmax Classifier: 각 Region Proposal의 클래스 확률을 예측합니다.
  • 예: Obj1: 0.8, Obj2: 0.1, Obj3: 0.1
• Bounding Box Regression: 각 Region Proposal의 바운딩 박스 좌표를 예측합니다. 이는 객체의 정확한 위치를 결정하는 데 사용됩니다.

---

Region Proposal Network 구현 이슈

여기서 Selective Search를 대체하기 위한 Region Proposal Network를 구현 이슈가 있습니다.

• 일단 Selective Search는 Edge detect, Color의 값을 추척합니다.
• 그리고 데이터로 주어질 Feature는 pixel 값, Target은 Ground Truth Bounding Box인데 이를 이용해 어떻게 Selective Search 수준의 Region Proposal을 할 수 있을 것인가? 라는 구현 이슈가 있습니다.
• 이때 Anchor Box라는 개념을 사용합니다.
  • Anchor Box는 Object가 있는지 없는지의 후보 Box의 기준을 정하는 역할을 합니다.

---

Anchor Box 구성

Anchor Box는 객체 탐지 모델에서 중요한 역할을 하는 개념으로, 다양한 크기와 비율(aspect ratio)의 박스를 미리 정의하여 입력 이미지에서 객체의 위치를 제안하는 역할을 합니다.

• Anchor Box는 Size(크기), Ratio(비율), Anchor Box의 개수. 이렇게 구성되어 있습니다.
• 총 9 개의 Anchor box, 3개의 서로 다른 크기, 3개의 서로 다른 ratio로 구성되어 있습니다.
• Size(크기)는 128 x 128, 256 x 256, 512 x 512 이렇게 3가지 크기가 사용됩니다.
• Ratio(비율)은 1:1, 1:2, 2:1 3가지 비율의 Anchor Box가 있습니다.
• 각 Anchor Box는 중앙점을 기준으로 다양한 크기와 비율로 생성됩니다.
• 이는 다양한 크기와 모양의 객체를 감지할 수 있도록 도와줍니다. 
  • 1:1 비율에서는 정사각형 박스가 생성됩니다, Aspect Ratio: 1: 정사각형 박스 (초록색)
  • 1:2 비율에서는 세로로 긴 박스가 생성됩니다, Aspect Ratio: 0.5: 세로로 긴 박스 (파란색)
  • 2:1 비율에서는 가로로 긴 박스가 생성됩니다, Aspect Ratio: 2: 가로로 긴 박스 (빨간색)

Anchor Box -> Object 유 or 무, Region Proposal 찾기 (대략적으로)

 

Anchor Box 특징

• 위의 사진의 왼쪽 부분을 보면 이미지 내에 다양한 크기의 Anchor Box가 배치되어 있습니다.
• 이 Anchor Box들은 고정된 위치에 따라서 미리 정의된 크기로 설정되어 있습니다.
• 오른쪽의 Anchor Box 1,2를 보면 세로로 긴, 가로로 긴 비율의 박스로 구성되어 있습니다.
• 가운데의 점은 Anchor Box의 중심점이며, 중심점을 기준으로 여러 크기와 비율의 박스가 동일한 위치에 중첩되어 있는 것을 볼 수 있습니다.
• 이는 동일한 위치에서 다양한 크기와 형태의 객체를 감지 할 수 있습니다.

 

Image와 Feature Map에서 Anchor Box Mapping

• Anchor Box의 Mapping 과정을 설명해보겠습니다.
• 원본 이미지의 각 점에서 생성된 Anchor Box는 Feature Map의 대응되는 점으로 매핑됩니다.
• 예를 들어, 원본 이미지의 600x1000 픽셀 크기의 영역이 40x60 픽셀 크기의 Feature Map으로 축소되면, 각 Feature Map 픽셀은 원본 이미지의 15x16 픽셀 영역을 나타냅니다.
• 그리고 CNN(예: VGG, ResNet) 등의 Backbone 네트워크를 통해 이미지를 통과시키면 더 작은 크기의 Feature Map이 생성됩니다. 이 Feature Map의 각 점은 원래 이미지의 큰 영역을 나타냅니다.
• 예를 들어, 원본 이미지의 크기가 600 x 1000이라면, CNN을 통과한 후의 Feature Map 크기는 40 x 60일 수 있습니다.
• 이 경우, Feature Map의 각 점은 원본 이미지의 15 x 16 픽셀 영역을 나타냅니다.

• 이 사진은 Anchor Box들이 생성될 중심점들을 보여줍니다.
• 각 점은 중심점으로 사용되며, 해당 중심점에서 다양한 크기와 비율의 Anchor Box가 생성됩니다.
•  

• 위의 사진은 한 지점에서 생성된 모든 Anchor Box를 보여줍니다.
• 이는 중심점 주변의 다양한 크기와 비율의 Anchor Box가 어떻게 생성되는지를 시각적으로 설명합니다.
• 왼쪽은 Anchor, 가운데는 하나의 중심점을 기준으로 Anchor가 어떻게 생성이 되는지, 오른쪽은 모든 Anchor가 구성되어 있는 사진을 보여줍니다.

• 위 사진에서의 Anchor Box는 다양한 비율과 크기로 구성됩니다. 빨간색, 초록색, 파란색 박스가 각각 다른 비율과 크기를 나타냅니다.
  • 비율: 0.5, 1, 2
  • 크기: 128 x 128, 256 x 256, 512 x 512
  • 비율과 크기를 조합하여 9개의 Anchor Box를 생성합니다.

 

• 각 그리드 위치마다 9개의 Anchor Box가 생성됩니다. 예를 들어, 이미지의 크기가 800 x 600이고 그리드의 크기가 16 x 16인 경우, 총 1900개의 그리드 위치가 있습니다. 따라서 총 Anchor Box의 수는 1900 x 9 = 17100개가 됩니다.

 

• 이미지의 크기를 고정된 stride length로 나누어 그리드 위치를 계산합니다.
• 이미지를 16 x 16의 stride length로 나눈 그리드 위치를 보여줍니다. 각 그리드 위치에서 Anchor Box가 생성됩니다.
• 예를 들어, stride length가 16이라면 이미지의 크기(800 x 600)를 16으로 나누면 50 x 37개의 그리드 위치가 생성됩니다.
• 그러나 실제 계산에서는 더 정밀하게 1900개의 그리드 위치가 사용됩니다.

 

• Anchor Box 매핑
  • 각 그리드 위치에서 9개의 Anchor Box를 생성하여 이미지 전체를 덮습니다.
  • 이는 이미지 내의 모든 위치에 대해 다양한 크기와 비율의 객체를 탐지할 수 있도록 합니다.
  • 이미지 전체에서 생성된 Anchor Box를 시각적으로 나타냅니다. 빨간색으로 표시된 영역이 이미지 전체를 덮는 Anchor Box를 나타냅니다.

 

• 총 1900개의 그리드 위치와 각 위치에서 9개의 Anchor Box가 생성되어, 총 17,100개의 Anchor Box가 이미지 내의 객체를 탐지할 준비가 됩니다.
• 일부 박스는 이미지 경계를 벗어날 수 있지만, 이는 네트워크가 적절하게 처리할 수 있습니다.

---

Region Proposal Network (RPN) 개요

아래 사진은 Faster R-CNN 모델에서 RPN이 어떻게 작동하는지를 시각적으로 보여줍니다.

RPN(Region Proposal Network)는 기존의 Selective Search가 수행하는 Object 위치에 Bounding Box를 그려서 추천하는 역할을 합니다.

• 원본 이미지
  • 첫 번째 단계는 원본 이미지를 네트워크에 입력하는 것입니다.
• Feature Extractor (VGG 등)
  • 입력 이미지가 VGG와 같은 사전 훈련된 CNN(Convolutional Neural Network)에 의해 처리되어, 고수준의 Feature Map(특징 맵)이 생성됩니다.
  • VGG는 이미지를 여러 층으로 분석하여 다양한 수준의 Feature(특징)을 추출합니다.
• Feature Map (특징 맵)
  
  • VGG를 통과한 결과로 생성된 Feature Map(특징 맵)입니다.
  • 이 Feature Map(특징 맵)은 이미지의 중요한 시각적 정보를 담고 있으며, 후속 단계에서 RPN(Region Proposal Network)에 입력으로 사용됩니다.
• RPN (Region Proposal Network)
  • RPN (Region Proposal Network)은 Feature Map(특징 맵)을 받아서 물체가 존재할 가능성이 높은 Region Proposal(후보 영역)을 생성합니다.
  • RPN (Region Proposal Network)은 Sliding Window 방식을 사용하여 Feature Map(특징 맵)의 모든 위치에 다양한 크기와 비율의 앵커 박스(Anchor Box)를 놓습니다.
  • 각 Anchor Box는 물체가 존재할 가능성을 점수로 매기며, 후보 영역의 정확한 위치를 보정합니다.
• 영역 추천 (Region Proposal)
  • RPN에서 높은 점수를 받은 Region Proposal(후보 영역)들이 최종 Region Proposal로 선택됩니다.
  • 이 과정에서 Non-Maximum Suppression, NMS(비최대 억제) 기술이 적용되어 겹치는 박스 중에서 가장 확실한 박스만 남깁니다.
  • 최종적으로 선택된 영역들은 다음 단계인 Object Detection(객체 탐지) 및 Clasification Network(분류 네트워크)로 전달됩니다.

 

Region Proposal Network (RPN) 구조

RPN (Region Proposal Network)의 구조에 데하여 자세히 설명해 보겠습니다.

• Feature Map
  • CNN을 통과한 후 생성된 40x50 크기의 Feature Map(특징 맵)입니다.
  • 이 Feature Map(특징 맵)은 원본 이미지의 고수준 특징을 나타냅니다.
• 3x3 Convolution 512 Channel
  • 3x3 크기의 Filter와 512개의 Channel을 갖는 Convolution Layer가 Feature Map(특징 맵)에 적용됩니다.
  • 이 Layer는 Feature Map(특징 맵)의 더 복잡한 패턴을 학습하여 Region Proposal(후보 영역)을 더 정확하게 제안할 수 있게 합니다.
• 1x1 Fully Convolutional Layer
  • 3x3 Convolution Layer를 거친 결과를 1x1 크기의 filter를 갖는 두 개의 Fully-Connected Layer로 전달합니다.
• Softmax Classification
  • 첫 번째 레이어는 소프트맥스 분류를 수행하여 각 Region Proposal(후보 영역)이 물체(FG, Foreground)인지 배경(BG, Background)인지 판단하고 확률로 출력합니다.
  • 높은 확률을 가진 Anchor는 물체가 존재할 가능성이 높은 영역으로 선택됩니다.
• Bounding Box Regression
  • 두 번째 레이어는 Bounding Box Regression(경계 상자 회귀)를 수행하여 Region Proposal(후보 영역)의 정확한 위치(x1, y1, w, h)를 보정 및 각 Anchor의 정확한 위치와 크기를 조정합니다.
  • 이는 각 Anchor의 중심 좌표(x, y)와 크기(w, h)를 조정하여 더 정확한 Region Proposal(후보 영역)을 생성합니다.

---

RPN 구조 (부가 설명)

ㄲ

• CNN을 통해 뽑아낸 Feature Map 을 입력으로 받습니다. 이 때, Feature Map의 크기를 H x W x C로 잡습니다. 각각 가로, 세로, 채널 수 입니다.
• Feature Map에 3x3 Convoultion을 256 혹은 512 채널만큼 수행합니다. 위 그림에서 intermediate layer에 해당합니다.
  • 이 때, padding을 1로 설정해줘서 H x W가 보존될 수 있도록 해줍니다.
  • intermediate layer 수행 결과 H x W x 256 or H x W x 512 크기의 두 번째 Feature Map을 얻습니다.
• 두 번째 Feature Map을 입력 받아서 classification과 bounding box regression 예측 값을 계산해줘야 합니다.
• 이 때 주의해야 할 점은 Fully Connected Layer가 아니라 1 x 1 Convoultion을 이용하여 계산하는 Fully Convolution Network의 특징을 갖습니다.
  • 이는 입력 이미지의 크기에 상관없이 동작할 수 있도록 하기 위함입니다.
• 먼저 Classification을 수행하기 위해서 1 x 1 Convoultion을 (Object 인지 아닌지 나타내는 지표 수) x 9(Anchor 개수) 체널 수 만큼 수행해주며, 그 결과로 H x W x 18 크기의 Feature Map을 얻습니다.
  • H x W 상의 하나의 인덱스는 Feature Map 상의 좌표를 의미하고, 그 아래 18개의 채널은 각각 해당 좌표를 Anchor 삼아 9개의 Anchor Box 들이 object인지 아닌지에 대한 예측 값을 담고 있습니다
  • 즉, 한번의 1x1 Convoultion으로 H x W에 해당 좌표들에 대한 Predict을 모두 수행한 것입니다.
  • 이제 이 값을 적절히 reshape 해준 다음 Softmax를 적용하여 해당 Anchor가 Object일 확률을 얻습니다.
• 두 번째로 Bounding Box Regression 예측 값을 얻기 위한 1 x 1 컨볼루션을 (4 x 9) 체널 수 만큼 수행합니다.
  • Regression(회귀)이기 때문에 결과로 얻은 값을 그대로 사용합니다.
• 이제 앞서 얻은 값들로 RoI를 계산해줍니다. 먼저 Classification을 통해 얻은 물체일 확률 값을 정렬한 다음, 높은 순으로 K개의 Anchor를 추려냅니다.
  • 이 K개의 Anchor들에 각각 Bounding Box regression을 적용해줍니다. 그 다음 Non-Maximum-Suppression을 적용하여 RoI를 구해줍니다.

feature map은 네트워크의 각 층에서 입력 데이터에 대해 적용된 filter의 출력을 나타냅니다.

---

Anchor Box와 Predicted Anchor Box

• 위의 Predicted 된 Anchor Box들을 보면, 어떠한 Anchor Box가 Object와 얼마나 겹지는지를 기준으로 봅니다.
• 즉, 어떤 Anchor Box가 Object가 있을 확률, 물체(FG, Foreground)인지 배경(BG, Background)인지 판단합니다.

 

Region Proposal Network (RPN) Output

• Region Proposal Network (RPN)의 Output은 3x3 Convolution, 512 Channel인 Layer를 거쳐서 2개의 1x1 크기의 filter를 갖는 Fully-Connected Layer로 전달합니다.
• Softmax Classification (1x1 Fully Convolutional Layer, 2x9 Output Channel)
  
  • 첫 번째 레이어는 소프트맥스 분류를 수행하여 각 Region Proposal(후보 영역)이 물체(FG, Foreground)인지 배경(BG, Background)인지 판단하고 확률로 출력합니다.
  • 높은 확률을 가진 Anchor는 물체가 존재할 가능성이 높은 영역으로 선택됩니다.
• Bounding Box Regression (1x1 Fully Convolutional Layer, 4x9 Output Channel)
  • 두 번째 레이어는 Bounding Box Regression(경계 상자 회귀)를 수행하여 Region Proposal(후보 영역)의 정확한 위치(x1, y1, w, h)를 보정 및 각 Anchor의 정확한 위치와 크기를 조정합니다.
  • 이는 각 Anchor의 중심 좌표(x, y)와 크기(w, h)를 조정하여 더 정확한 Region Proposal(후보 영역)을 생성합니다.

---

Positive Anchor Box, Negative Anchor Box

• Ground Truth BB(Bounding Box)가 겹치는 IOU 값에 따라 Anchor Box를 Positive Anchor Box, Negative Anchor box 로 분류합니다.
  • IOU가 0.7 이상이면 Positive
  • IOU가 가장 높은 Anochor는 Positive
  • IOU가 0.3보다 낮으면 Negative로 판별합니다.
• 그리고 IOU가 0.3 ~ 0.7, 즉 분류하기 애매한 애들은 아에 out 시켜버립니다.

Iou: Bounding Box를 통해서 Ground Truth와 예측값이 얼마나 맞아 떨어지는 지표입니다.

---

Anchor box 를 Reference로 한 Bounding Box Regression

• 예측 Anchor box는 Positive Anchor box와의 좌표값 차이를 최소화할 수 있는 Bounding Box Regression을 수행합니다.

---

RPN Classification과 Bounding Box Regression

RPN 분류와 Bounding Box 회귀에 데하여 설명해 보겠습니다.

RPN 분류 (Classification)

• Anchor Box(앵커 박스)
  • Positive Anchor: 실제 객체를 포함하는 Ground Truth 박스와 높은 IoU(Intersection over Union)를 가지는 Anchor Box(앵커 박스)입니다. Positive Anchor는 잠재적인 객체 영역으로 간주됩니다.
  • Negative Anchor: Ground Truth 박스와 낮은 IoU를 가지는 Anchor Box(앵커 박스)들입니다. Negative 앵커는 배경 영역으로 간주됩니다.
• Classification(분류) 과정:
  • 각 Anchor Box(앵커 박스)에 대해 네트워크는 이를 "전경(객체)" 또는 "배경(비객체)"으로 분류합니다.
  • Classification Loss Function (분류 손실 함수)는 보통 소프트맥스(softmax) 또는 시그모이드(sigmoid) 손실로, 네트워크가 전경과 배경을 구분하도록 훈련합니다.

바운딩 박스 회귀 (Bounding Box Regression)

• Ground Truth 박스: 이미지에서 Object를 정확히 둘러싸는 실제 Bounding Box 입니다.
• 예측된 Anchor Box(앵커 박스)
  • 네트워크는 Anchor Box(앵커 박스)스를 Ground Truth 박스에 더 잘 맞도록 조정하기 위한 예측값을 생성합니다.
  • 이 조정값은 일반적으로 Δx, Δy ,Δw, Δh로 표현되며, Anchor Box(앵커 박스)를 Ground Truth 박스에 맞추기 위한 이동 및 스케일링 값을 나타냅니다.
• Regression(회귀) 과정:
  • 네트워크는 이러한 조정값을 사용하여 앵커 박스를 더 정확하게 Ground Truth 박스에 맞춥니다.
  • Bounding Box Regression Loss Function (바운딩 박스 회귀 손실 함수)는 보통 smooth L1 Loss로, 네트워크가 정확하게 이 조정값을 예측하도록 훈련합니다.

---

Anchor Box에 따른 RPN Output

한번 Anchor Box에 따른 Region Proposal Network(RPN)의 Output에 데하여 알아보겠습니다.

• Convolution Feature Map에서 Feature Map을 이동하며 각 위치마다 Region Proposal(제안된 영역)을 생성합니다.
• 또한 Sliding WIndow 방식을 이용해서 각 위치의 기준점에서 고정된 크기의 Window를 사용합니다.
• 이때 각 Sliding Window 위치에서 여러개의 크기 & 비율을 가진 Anchor Box를 생성합니다.
• 그리고 중간 계층인 Sliding Window로 추출된 각 위치의 정보를 256차원의 Vector로 변환하는 Intermeidate Layer를 거칩니다.
  • 이때, VGG Network를 사용할시, Intermeidate Layer는 512차원의 Vector를 가집니다.
• 또한 이제, Intermeidate Layer를 거치면 Classification(분류), Regression(회귀) 계층으로 들어갑니다.
  • Classification(분류) Layer (2 x 9) 에서는 각 Anchor Box가 객체인지 아닌지 여부를 판단하는 2k개의 점수(score)를 출력합니다.
  • 여기서 k는 Anchor Box의 수를 의미합니다.
  • Regression(회귀) Layer (4 x 9)에서는 각 Anchor Box를 실제 객체에 더 잘 맞추기 위해 조정하는 4k개의 좌표를 출력합니다.
  • 이 좌표들은 앵커 박스를 이동 및 스케일링하기 위한 값들을 나타냅니다. 보통 일반적으로 Δx, Δy ,Δw, Δh로 표현 됩니다.

---

RPN Loss Function

• RPN(Region Proposal Network)의 손실 함수는 물체 탐지의 정확도를 높이기 위해 Classification Loss (분류 손실)과 Regression Loss (회귀 손실)을 결합한 형태로 구성되어 있습니다.

 

• Classification Loss (분류 손실): Lcls
  • 각 Anchor Box가 물체를 포함하는지 여부를 예측하는 데 사용됩니다.
  • 예측 확률 pi 와 실제 값 pi* 사이의 손실을 계산합니다.
  • 예측 값이 실제 값과 얼마나 일치하는지를 측정합니다.
• Regression Loss (회귀 손실): Lsmooth1
  • 물체를 포함하는 Anchor Box의 좌표를 조정하는 데 사용됩니다.
  • 예측된 좌표 ti 와 실제 좌표 ti*사이의 차이를 계산합니다.
  • Anchor Box를 실제 Object에 맞게 조정하여 더 정확한 Border Box 를 생성합니다.
• Normalization (정규화): Ncls & Nbox
  • 손실 값을 Mini-Batch Size Ncls 와 Box 개수 Nbox 로 나누어 Normalization 합니다.
  • 이로 인해 학습이 안정적으로 이루어지도록 합니다.
• Balancing Parameter (밸런싱 파라미터): λ
  • Classification Loss (분류 손실)과 Regression Loss (회귀 손실)사이의 균형을 맞추기 위한 parameter입니다.
  • Classification Loss (분류 손실)과 Regression Loss (회귀 손실)의 비중을 조정하여 최적의 학습 결과를 얻을 수 있도록 합니다.

---

RPN Training & Region Proposal 영역 Filtering

• RPN Training 방식은 앞에서 수 많이 설명을 했으니까 생략하겠습니다.
• 다만 우리가 Region Proposal 영역 Filtering을 할때 For Ground에 따라서 넘김니다.
• 이때 FG만 찾으면 바로 넘깁니다.

---

예측 Region Proposal Box의 Objectness Score

Objectness Score: 예측 Box가 Object 일 확률(Softmax 값) * Ground Truth bounding box와의 IOU값 입니다.

• 여기서 우리가 봐야 하는건 Objectness Score가 높은 순으로 Regsion Proposal Box를 추출 한다는 점이 있습니다.

---

Fast R-CNN Training

 

• Alternating Training: RPN과 Fast R-CNN 모델을 번갈아 가며 학습하고 미세 조정하여 최적의 성능을 달성합니다. 순서는 아래와 같습니다.
  • RPN 학습: 먼저 RPN을 학습하여 초기 제안된 영역을 생성합니다.
  • Fast R-CNN 학습: Region Proposal을 기반으로 Classification 및 Bounding Box Regression을 학습합니다.
  • Fine Tuning: RPN과 Fast R-CNN 모델을 번갈아 가며 미세 조정하여 성능을 최적화합니다.

---

Faster RCNN Detection 성능 & 수행시간 비교

• 성능 비교 표를 요약해보면 아래의 내용과 같습니다.
• PASCAL VOC 데이터셋: RPN(Region Proposal Network)을 사용한 Faster R-CNN이 Selective Search를 사용한 Fast R-CNN보다 높은 mAP를 보였습니다.
• COCO 데이터셋: RPN(Region Proposal Network)을 사용한 Faster R-CNN이 전반적으로 더 높은 성능을 보였습니다.
• 전체적인 성능: 더 적은 제안 박스를 사용하면서도 높은 성능을 기록한 Faster R-CNN의 효율성을 강조합니다.
• Selective Search를 사용한 시스템은 제안 박스 생성에 시간이 많이 걸려 속도가 느립니다.
• RPN(Region Proposal Network)을 사용하면 제안 박스 생성 시간이 크게 단축되어 전체 속도가 크게 개선됩니다.
• ZF 모델은 VGG 모델에 비해 더 빠른 속도를 제공하여 RPN과 Fast R-CNN의 조합에서 가장 높은 처리 속도를 보입니다.

---

Summary

R-CNN, Fast R-CNN, Faster R-CNN에 데하여 요약및 정리를 해보겠습니다.

• R-CNN (Region-based Convolutional Neural Network)
  
  • 제안 영역 추출: 입력 이미지에서 Selective Search를 통해 여러 개의 제안 박스(Regions of Interest, RoIs)를 생성합니다.
  • CNN: 각 RoI를 CNN을 통해 개별적으로 Feature Map으로 변환합니다.
  • SVM: 각  Feature Map을 SVM을 사용해 Classification합니다.
  • Bounding Box Regression: 분류된 결과를 바탕으로 Bounding Box를 조정합니다.
  • 단점: 매우 느림: 모든 RoI에 대해 개별적으로 CNN(Convolution Neural Network)을 적용해야 하므로 연산 비용이 높습니다.
• Fast R-CNN
  
  • 입력 이미지 처리: 입력 이미지를 ConvNet에 넣어 Feature Map을 생성합니다.
  • RoI 추출: RoI Pooling을 사용해 Feature Map에서 Region Proposal을 추출합니다.
  • Fully Connected Layers (FCs): 추출된 RoI를 FC Layer 에 통과시킵니다.
  • Softmax Classifier & Bounding Box Regressor: 각 RoI에 대해 물체의 종류를 Classification 하고, Bounding Box를 조정합니다.
  • 장점: 속도 향상: 한 번의 CNN(Convolution Neural Network) 연산으로 전체 Feature Map을 생성한 후 RoI를 처리하므로 효율적입니다.
• Faster R-CNN
  
  • 입력 이미지 처리: ConvNet을 통해 Feature Map을 생성합니다.
  • Region Proposal Network (RPN): Feature Map에서 RoI를 제안합니다.
  • RoI Pooling: RPN이 제안한 RoI를 Feature Map 에서 추출합니다.
  • Fully Connected Layers (FCs): 추출된 RoI를 FC Layer에 통과시킵니다.
  • Softmax Classifier & Bounding Box Regressor: 각 RoI에 대해 물체의 종류를 Classification 하고, Bounding Box를 조정합니다.
  • 장점: 속도 및 성능 향상: RPN을 사용하여 RoI 제안을 CNN(Convolution Neural Network)안에서 처리하므로 연산 비용을 줄이고 성능을 향상시킵니다.

Feature Map: Convolutional Neural Network (CNN)를 통과한 후 생성되는 다차원 배열로, 원본 이미지의 특성(특징)들을 포함하고 있습니다.
Region Proposal: 원본 이미지에서 객체가 있을 만한 후보 영역 (Region of Interest, RoI)을 찾는 과정입니다.