[CV] Object Detection의 이해

Intro Object Detection

Object Detection은 Deep Learning(딥러닝) 기반으로 발전하였습니다.

• Object detection은 컴퓨터 비전 분야에서 중요한 연구 주제 중 하나로, 이미지나 비디오 내에서 객체의 위치를 찾고, 해당 객체가 무엇인지를 식별하는 기술입니다.
• 이 기술은 보안 시스템, 자율 주행 차량, 얼굴 인식, 이미지 검색 엔진 등 다양한 응용 분야에서 활용됩니다.

Pascal VOC 경연대회에서 평균적으로 딥러닝 모델의 성능지표 그래프

• PASCAL VOC 대회에서 convnet을 사용하기 전이랑 후랑 성능 지표가 확 상승한것을 볼 수 있습니다.

---

Localization, Detection, Segmentation

Localization, Detection, Segmentation 이 3개의 공통점은 Object의 위치를 찾아주는것입니다.

• Localization: 단 하나의 Object 위치를 Bounding box로 지정하여 찾는 것입니다.
• Detection: 여러 개의 Object들에 대한 위치를 Bounding box로 지정하여 찾는것입니다..
• Segmentation: Detection보다 더 발전된 형태로 Pixel 레벨의 Detection 수행합니다.
  • 또한 Detection 보다 정교하다는 특징이 있습니다.

• Localization / Detection은 해당 Object의 위치를 Bounding box로 찾고, Bounding Box내의 Object를 판별합니다.
• 그리고 Localization/Detection은 Bounding box regression(box의 좌표값들을 예측)과 Classification 두개의 문제가 합쳐져
• 있습니다.
• Localization에 비해 Detection은 2개 이상의 Object를 이미지의 임의 위치에서 찾아야 하므로 상대적으로 Localization 보다 여러가지 어려운 문제에 봉착하게 됩니다.

---

Object Detection의 주요 구성요소

• Region Proposal - 영역추정
  • 영역 추정은 이미지 내에서 객체가 존재할 가능성이 높은 영역을 식별하는 과정입니다. 이는 객체 검출 알고리즘의 첫 단계로, 이미지 내의 모든 위치에 대해 객체가 있을 가능성을 평가하고, 객체가 있을 것 같은 위치의 후보 영역을 제안합니다.
• Detection을 위한 Deep Learning Network 구성
  • 객체 검출을 위한 딥러닝 네트워크는 주로 Convolutional Neural Networks(CNN)을 기반으로 합니다. 이러한 네트워크는 이미지로부터 특징을 추출하고, 이 특징들을 사용하여 객체의 위치와 클래스를 동시에 예측합니다.
• Detection을 구성하는 기타요소
  
  • IOU (Intersection Over Union): IOU는 두 영역의 겹치는 부분을 두 영역의 합집합으로 나눈 값입니다.
    • 이는 예측된 bounding box와 실제 ground truth bounding box의 일치도를 측정하는 데 사용됩니다. IOU 값이 높을수록, 예측된 bounding box가 정확하다는 것을 의미합니다.
  • NMS (Non-Maximum Suppression): NMS는 여러 개의 bounding box 중 가장 확률이 높은 bounding box를 선택하고, 나머지와 많이 겹치는 bounding box를 제거하는 과정입니다.
    • 이는 한 객체에 대해 여러 개의 bounding box가 생성되는 것을 방지합니다.
  • mAP (mean Average Precision): mAP는 객체 검출 모델의 정확도를 평가하는 지표입니다.
    • 모델이 다양한 클래스에 대해 얼마나 잘 작동하는지를 측정하기 위해, 각 클래스별 Average Precision(AP)을 계산하고, 이를 모두 평균낸 값입니다.
  • Anchor Box: Anchor box는 다양한 비율과 크기를 가진 기준 박스로, 이미지 내의 잠재적 객체 위치를 예측하는 데 사용됩니다.
    • 이는 RPN과 같은 네트워크에서 후보 영역을 제안할 때 사용되며, 다양한 형태와 크기의 객체를 더 잘 감지할 수 있게 해줍니다.

---

주요 Backend CNN Classification

객체탐지 모델의 백엔드로 사용되는 CNN 구조는 특징추출(feature extraction) 부분에서 중요한 역할을 합니다.

• 여기서 주로 Resnet, Inception, Mobilenet이 주요하게 사용되는 Network입니다.
• 여기서 주요 범용으로 사용되는건 ResNet (Residual Networks)입니다.
  • ResNet은 깊은 신경망을 훈련시키기 위한 기술인 잔차 학습(residual learning)을 도입하여, 깊은 네트워크에서 발생할 수 있는 소실된 기울기 문제를 해결합니다
• 주로 Tensorflow Object Detection API로 사용되는건 Inception, Mobilenet이 있습니다.
  • Inception: Inception 네트워크는 병렬적인 컨볼루션 레이어 구조를 통해 다양한 크기의 필터를 적용합니다. 이를 통해 다양한 스케일에서 특성을 추출할 수 있으며, 이는 객체 탐지와 같이 다양한 크기의 객체를 인식해야 하는 경우에 유용합니다.
  • MobileNet: MobileNet은 경량화된 딥 러닝 모델로, 특히 모바일이나 임베디드 시스템과 같이 연산 리소스가 제한된 환경에서 사용하기 위해 설계되었습니다. MobileNet은 깊이별 분리 컨볼루션(depthwise separable convolution)을 사용하여 모델의 크기와 연산량을 대폭 줄이면서도 높은 성능을 유지합니다.

---

Object Detection의 난제

크게 5가지의 문제가 있습니다. 

• Classification + Regression을 동시에 하는 문제는 이미지에서 여러 개의 물체을 classification 함과 동시에 위치를 찾아야 합니다.
• 다양한 크기와 유형의 Object가 섞여 있습니다. 이건 크기가 서로 달고, 생김새가 다른 Object가 섞여 있는 이미지에서 이들을 Detect해야 하는 문제가 있습니다.
• Detect 시간이 중요한 실시간 영상 기반에서 Detect 해야 하는 요구사항이 증대 된다는 문제가 있습니다.
• Object image가 명확하지 않은 경우가 많습니다. 또한 전체 이미지에서 Detect 할 Object가 차지하는 비중이 높지 않습니다.
  • 주로 배경이 대부분을 차지하는 경우가 많습니다.
• 또한 훈련 가능한 데이터 세트가 부족합니다. 그리고 annotation을 만들어야 하므로 훈련 데이터 세트를 생성하기가 상대적으로 여렵다는 문제가 있습니다.

---

Object Localization 개요

Object Localization은 이미지 내에서 특정 객체의 위치를 찾아내는 과정을 의미합니다.

• 이는 객체 검출(Object Detection)의 한 부분으로, 이미지에서 객체가 어디에 위치해 있는지를 파악하는 것입니다.
• Object Detection과 달리, Object Localization은 이미지 내에서 단 하나의 주요 객체의 위치만을 찾는 경우가 일반적입니다.

 

• 주요 과정을 간략하게 설명드리겠습니다.

1. 이미지 입력: 분석할 이미지가 모델에 입력됩니다.
2. Feature Extractor: CNN의 여러 층(convolutional layers, pooling layers 등)을 통과하면서 이미지의 중요한 특징들을 추출합니다. 초기 층은 이미지의 간단한 특징(예: 엣지, 색상)을 인식하고, 깊은 층으로 갈수록 복잡한 특징(예: 객체의 일부분)을 인식하게 됩니다.
3. Feature Map: CNN의 Layer를 통과한 결과로 생성된, 이미지의 중요한 특징들이 담긴 데이터입니다. 이러한 데이터들은 원본 이미지보다 차원이 줄어들었거나, 특정 특징이 강조된 형태를 가지고 있습니다. 이를 통해 이미지의 중요한 정보를 보존하면서도 데이터의 양을 줄여 처리 속도를 높일 수 있습니다.
4. Fully-Connected Layer (FC-Layer): Feature Map을 입력으로 받아, 이를 기반으로 이미지가 어떤 클래스에 속하는지를 결정하는 역할을 합니다. 방식은 Feature Map을 일렬로 펴서(Flatten) 완전 연결 계층 (Fully Connected Layer)에 입력합니다. 이 계층은 학습된 가중치를 이용하여 각 클래스에 대한 점수를 계산합니다.
5. Softmax Class Score: Fully Connected Layer (FC Layer)에서 계산된 점수를 확률로 변환하여, 각 클래스에 속할 확률을 나타냅니다. 이떄 Softmax 함수를 Activation Function (활성화 함수)로 사용합니다. 각 클래스에 대한 점수를 확률로 변환하여, 모든 클래스의 확률 합이 1이 되도록 합니다.

• Object Localization에서 Feature Extractor에서 추출한 특징을 기반으로, 객체가 이미지 내에 존재하는 정확한 위치를 나타내는 Bounding Box의 좌표값 (x1, y1, x2, y2)를 예측합니다.
  • 여기서 (x1, y1)은 Bounding Box의 왼쪽 상단 모서리의 좌표이고, (x2, y2)는 오른쪽 하단 모서리의 좌표입니다.
• 그리고 Feature Extractor에서 추출한 특성을 바탕으로, 객체가 있을 가능성이 있는 영역(Region of Interest, ROI)을 제안합니다.
  • Object Localization에서는 이미지 전체를 대상으로 한다는 특징이 있습니다.
• 마지막으로 Bounding Box Regression을 통해 보정된 Bounding Box의 좌표 (x1, y1, x2, y2)가 최종 결과로 출력됩니다
• 이 좌표는 이미지 내에서 객체의 정확한 위치를 나타냅니다.

---

Object Localization - Bounding Box 학습

• 앞서 Object Localization에서 Bounding Box를 학습하면서 Weight(가중치)가 업데이트 되는건 Nerual Network(신경망)에서 입력 이미지에서 객체의 위치를 더 정확하게 예측하기 위해 내부 parameter(Weight-가중치)를 조정한다는 의미입니다.
• 이러한 과정을 여러 번 반복하면서, 신경망은 점차 실제 객체의 위치를 더 정확하게 예측하는 Bounding Box를 출력하게 됩니다.

1. 초기 예측: 신경망은 초기 가중치를 바탕으로 입력 이미지에 대해 Bounding Box의 좌표를 예측합니다.
2. 손실 계산: 예측된 Bounding Box와 실제 객체의 Bounding Box(지도 학습 데이터에서 제공) 사이의 차이를 계산합니다. 이 차이는 주로 손실 함수를 통해 계산되며, 이때 Loss Function(손실 함수)는 Mean Squared Error(MSE) 또는 Intersection over Union(IoU)등 다양한 Loss Function(손실 함수)를 사용합니다.
3. 가중치 업데이트: 계산된 Loss 을 바탕으로, Nerual Network(신경망)은 Backpropagation(역전파) 알고리즘을 사용하여 Weight(가중치)를 조정(update)합니다. 이 과정에서 Weight(가중치)는 Loss를 최소화하는 방향으로 조정됩니다.

• 이렇게 Object Localization을 수행하면 예측결과는 아래와 같이 나옵니다.

• 그러면 만약에 2개 이상의 Object를 검출하려고 하면 이미지의 어느 위치에서 Object를 찾아야 할까요? 그건 다음 글에서 설명해 보도록 하겠습니다.