[CV] Fast R-CNN (Fast Region-based Convolutional Neural Network)

Fast R-CNN 개요 

FAST R-CNN은 R-CNN (Region-based Convolutional Neural Network)과 SPP-Net (Spatial Pyramid Pooling Network)의 단점을 보완하고, 객체 탐지의 속도와 정확성을 크게 개선한 모델입니다

 

• Fast R-CNN은 이러한 요소로 구성되어 있습니다.

1. 입력 이미지: 원본 이미지와 Region Proposal이 입력됩니다.
2. 공통 CNN: 이미지에서 Feature Map(특징 맵)을 추출합니다.
3. RoI Pooling Layer: 각 Region Proposal을 고정된 크기의 *Feature Map(특징 맵)으로 변환합니다.
4. 완전 연결 층: 고정된 크기의 *Feature Map(특징 맵)을 입력으로 받아 Classification(분류)와 Bounding Box Regression(바운딩 박스 회귀)를 수행합니다.
5. 출력: 객체의 Class와 Bounding Box 좌표를 예측합니다.

*Feature Map은 입력 데이터의 특정 특징을 추출하여 나타낸 것입니다.
CNN에서는 입력 이미지의 각 부분에서 패턴을 인식하고, 이를 통해 Feature Map을 생성합니다.

 

• 또한 FAST R-CNN은 이러한 장점이 있습니다.
  • 전체 이미지에 대해 한 번의 CNN 계산만으로 Feature Map(특징 맵)을 생성하므로, R-CNN에 비해 연산 비용과 시간이 크게 줄어듭니다.
  • RoI Pooling을 통해 각 Region Proposal에 대해 고정된 크기의 Feature Map(특징 맵)을 생성하므로, 추가적인 CNN 계산이 필요하지 않습니다.
  • RoI Pooling Layer를 사용하여 고정된 크기의 Feature Map(특징 맵)을 생성하므로, Fully Connected Layer(FC)에 입력되는 데이터 크기를 일정하게 유지할 수 있습니다.
  • 통합된 Network에서 Classification(분류)와 Bounding Box Regression(바운딩 박스 회귀)를 동시에 수행하므로, 효율성이랑 객체 탐지의 정확성이 향상됩니다.
  • End-to-End 학습이 가능하여, Network가 전체적으로 최적화될 수 있습니다.

---

Fast R-CNN 주요 특징(From SPP-Net)

Fast R-CNN의 주요 특징에 데하여 한번 알아보도록 하겠습니다.

SPP Layer를 ROI Pooling Layer로 변경

• SPP (Spatial Pyramid Pooling) Layer
  • 다양한 크기의 입력 이미지를 고정된 크기의 *Feature Vector(특징 벡터)로 변환하기 위해 사용됩니다.
  • 여러 레벨의 피라미드 구조로 입력 이미지를 나누어 각 영역에서 Max Pooling(맥스 풀링)을 수행합니다.

*Feature Vector(특징 벡터)는 입력 데이터의 중요한 특징을 숫자로 표현한 벡터입니다.
*Max Pooling(맥스 풀링)은 Feature Map(특징 맵)에서 가장 중요한 정보를 추출하고 데이터의 크기를 줄이는 데 사용됩니다

• ROI (Region of Interest) Pooling Layer
  • Fast R-CNN에서 SPP Layer 대신 사용되는 Layer 입니다. 그리고 Layer가 하나이며, 그 Layer에서 Vector화가 됩니다.
  • 그리고 Region Proposal을 고정된 크기의 Feature Map(특징 맵)으로 변환됩니다.
  • CNN이 생성한 Feature Map(특징 맵)에서 각 Region Proposal의 영역을 추출하고 고정된 크기로 변환합니다.

 

End-to-End Network Learning

• SVM을 Softmax로 변환
  • R-CNN과 달리 Fast R-CNN에서는 SVM 분류기 대신 Softmax 분류기를 사용합니다.
  • Softmax는 클래스 확률을 출력하여, 보다 효과적인 다중 Class Classification(클래스 분류)를 가능하게 합니다.
• Multi-task Loss 함수
  • Fast R-CNN은 Multi-task Loss Function를 사용하여 Classification(분류)와 Bounding Box Regression(바운딩 박스 회귀)를 동시에 최적화합니다.
  • Classification Loss(분류손실)과 Regression Loss(회귀 손실)을 함께 학습함으로써, 네트워크가 객체의 클래스와 위치를 동시에 학습할 수 있습니다.

---

Fast R-CNN 구조

Fast R-CNN 구조에 데하여 설명을 해보겠습니다.

• 전반적으로 Feature Map(특징 맵)까지는 SPP-Net의 과정과 동일합니다. 다만 Feature Map(특징 맵)이후 부터는 다릅니다.
• RoI Pooling Layer: Feature Map(특징 맵)에서 각 Region Proposal의 영역을 추출하고 고정된 크기의 피처 맵으로 변환합니다.
• Fully-Connected Layer: RoI Pooling Layer의 출력을 받아 Classification(분류), Regression(회귀)를 수행합니다.
• Softmax Classifier, Bounding Box Regression: 최종적으로 각 Region Proposal의 클래스와 바운딩 박스를 예측합니다.

• 아래의 사진은 FAST R-CNN의 구조를 입력 이미지를 넣는걸 예시를 들어 표현한 것입니다. 자세히 설명해 보겠습니다.
• 입력 이미지: 크기 600x1000의 이미지를 CNN에 입력합니다.
• Feature Maps: CNN을 통과하여 40x60 크기의Feature Map(특징 맵)을 생성합니다.
• Region Proposal: Region Proposal Network (RPN)을 통해 제안된 객체 영역을 처리합니다.
• RoI Pooling: RoI Pooling Layer에서 각 Region Proposal을 고정된 크기의Feature Map(특징 맵)으로 변환합니다.
• Fully-Connected Layer: 고정된 크기의 Feature Map(특징 맵)을 완전 Fully-Connected Layer(연결 층)에 전달합니다.
• Classification and Regression: 각 Region Proposal에 대해 Softmax를 통해 클래스를 예측하고, Regression(회귀)를 통해 Bounding Box(바운딩 박스)를 예측합니다.

---

Multi-task loss Function

Multi-task loss는 분류(Classification)와 회귀(Regression)를 동시에 최적화하는 데 사용되는 Loss 함수입니다.

• Classification Loss (분류 손실), Regression Loss (회귀 손실) 2개의 구성 요소로 이루어져 있습니다.

• Classification Loss (분류 손실)
  • 객체의 클래스 레이블을 예측하는 손실 함수입니다.
  • Data Category의 관계 파악 및 새로운 데이터를 스스로 판별하는 과정입니다.
  • Lcls(p,u)는 예측된 클래스 확률 p와 실제 클래스 레이블 u간의 차이를 계산합니다.
• Regression Loss (회귀 손실)
  • 예측된 Bounding Box 좌표 v와 실제 Bounding Box 좌표 tu간의 차이를 계산하는 Loss Function(손실 함수)입니다.
  • Fast R-CNN에서는 Smooth L1 Loss를 사용하여, 작은 오차에 대해서는 L2 Loss와 유사하게 동작하고, 큰 오차에 대해서는 L1 Loss와 유사하게 동작합니다.
• Multi-task Loss (멀티 태스크 손실)
  • Classification Loss (분류 손실), Regression Loss (회귀 손실)을 함께 최적화하여, Object Detection의 정확성을 높입니다.
  • λ는 두 Loss 간의 Weight(가중치)를 조정하는 하이퍼파라미터입니다.
  • [u≥1]는 Object가 있을 때만 Regression Loss(회귀 손실)를 계산하도록 합니다.

---

Fast R-CNN 성능비교

• PASCAL VOC 2012 데이터셋을 사용하여 R-CNN, SPP-Net, Fast R-CNN의 성능 및 실행 시간을 비교한 결과입니다.
• 정리해보자면, Fast R-CNN은 더 많은 훈련 데이터를 사용했을 때 가장 높은 mAP를 기록하며, 객체 탐지 성능이 우수합니다.
• Fast R-CNN은 훈련 시간과 테스트 시간 모두에서 가장 효율적입니다.
• Fast R-CNN은 테스트 시 Region Proposal을 포함해도 가장 빠르게 실행된는 특징이 있습니다.

명사: 에프, 파, 에프 자 모양