[CV] SPPNet - Spatial Pyramid Pooling Net

SPPNet - Spatial Pyramid Pooling Net

이번에는 SPPNet - Spatial Pyramid Pooling Net에 데하여 알아보고 왜 SPPNet이 등장했는지 한번 알아 보겠습니다.

---

 

RCNN 주요 문제점

• 그전에 RCNN의 주요 문제점에 데하여 한번 알아보겠습니다.
• 일단, CNN은 2,000개의 Region 영역 이미지가 CNN으로 입력 되면서 Object Detection 수행시간이 오래 걸립니다.
• 이유는 위의 그림을 보면 알 수 있듯이 2,000개의 Region 영역이 Proposal 되어야 합니다.
  • 그러면 Feature Map이 2,000개가 만들어 저야 합니다. 이로 인해서 먾은 연산이 필요하며 처리 시간이 길어집니다.
• 또한 Region 영역 이미지가 고정된 크기로 Crop / Warp 하여 CNN에 입력해야 합니다.
  • 이 과정도 추가적인 연산 및 Memory 사용량을 필요로 합니다.

 

RCNN 개선 방안

그러면 RCNN을 개선 할수 있는 방안이 있을까요?

• 2000개의 Region Proposal 이미지를 CNN 으로 Feature Extraction 하지 않고 원본 이미지 으로만 CNN으로 Feature Map을 생성합니다.
• 또한 뒤에 원본 이미지의 Selective search 로 추천된 영역의 이미지만 Feature Map으로 매핑하여 별도 추출합니다.
• 그렇지만 Selective Search 에서는 이미지 크기가 달라서 이미지가 찌그러지는 문제가 발생합니다.
• 또한 Feature Map을 1차원으로 Flatten(평탄화)하는 경우, 이미지가 찌그러지는 문제의 원인을 제공합니다.

• 또한 CNN 은 서로 다른 사이즈의 Image를 수용하지 않는데, 가장 큰 이유는 Flatten Fully Connection Input의 크기가 고정이 되어야 하기 때문입니다.
• 그러면 어떻게 해야 할까요?

 

서로 다른 크기의 Region Proposal 이미지 개선 방안

RCNN의 문제를 개선하기 위하여 SPPNet을 사용합니다.

• Feature 맵으로 투영된 서로 다른 크기를 가진 Region Proposal 이미지를 SPPNet의 고정된 크기 Vector로 변환하여 FC에 1D Flattened 된 input을 제공합니다.

여기서 SPPNet의 역할은 Region Proposal 이미지를 고정된 Vector size로 변환하여 고정 레이어에 제공합니다.

 

SPP (Spatial Pyramid Pooling)

SPP는 CNN상에서 Image classification에서 서로 다른 이미지의 크기를 고정된 크기로 변환하는 기법입니다.

• SPP는 오래전부터 컴퓨터 비전 영역에서 활용된 Spatial Pyramid Matching 기법에 근간을 두었습니다.
• Spatial Pyramid Matching은 서로 다른 Feature Map에 투영합니다.
• 또한 Selective Search된 Feature Map은 고정된 사이즈의 Vector Value(벡터값)으로 변환합니다.

Bag of Visual Words -> Spatial Pyramid Matching

 

BoVW (Bag of Visual Words)

Bag of Visual Words (BoVW)는 이미지 분류와 같은 컴퓨터 비전 작업에서 자주 사용되는 특징 추출 방법입니다.

• BoVW는 텍스트 처리에서 사용하는 Bag of Words (BoW) 모델을 이미지 데이터에 적용한 것입니다.
• 이 방법은 이미지를 시각적인 단어(visual words)의 집합으로 표현하여, 이미지 분류, 검색, 인식 등의 작업을 수행합니다.
• 주요 개념은 크게 아래 4개로 이루어 집니다.
• 시각적 단어(Visual Words)
  • 이미지의 Local feature를 추출하고, 이를 클러스터링하여 시각적 단어로 만듭니다.
  • 시각적 단어는 이미지의 패치(patch)나 키포인트(keypoint)의 특징을 나타냅니다.
• 특징 추출 (Feature Extraction)
  • 일반적으로 SIFT, SURF, ORB와 같은 특징 추출 알고리즘을 사용하여 이미지에서 키포인트를 검출하고, 각 키포인트의 특징 벡터를 계산합니다.
• 클러스터링 (Clustering)
  • 추출된 특징 벡터들을 클러스터링 알고리즘 (예: K-means)을 사용하여 클러스터링합니다.
  • 각 클러스터의 중심이 시각적 단어가 됩니다.
• 히스토그램 생성 (Histogram Generation)
  • 각 이미지에 대해, 이미지 내의 특징 벡터들이 시각적 단어로 매핑됩니다.
  • 매핑된 시각적 단어의 빈도수를 계산하여 히스토그램을 생성합니다.
  • 이 히스토그램은 해당 이미지의 특징 벡터로 사용됩니다.

 

BoVW (Bag of Visual Words)의 문제점

BoVW(Bag of Visual Words)의 문제점에 데하여 말해보겠습니다.

• BoVW(Bag of Visual Word)는 다양한 Feature들이 섞여버리면 정확한 Image Classification, Detection에 문제가 될수도 있습니다.
• 또한 Local Feature를 시각적 단어로 매핑하는 과정에서 정보 손실이 발생할 수 있습니다.
• 그리고 특징 추출 및 클러스터링 과정에서 높은 계산 비용이 발생할 수 있습니다.
• 이러한 문제점들을 보완하기 위하여 사용하는 기법이 있습니다. 바로 SPM(Spatial Pyramid Matching)입니다.

---

 

SPM (Spatial Pyramid Matching)

Spatial Pyramid Matching (SPM)은 이미지의 공간적 정보를 고려하여 특징을 추출하는 방법입니다.
SPM은 이미지를 여러 단계로 분할하고, 각 단계에서 지역 히스토그램을 계산하여 최종적으로 이미지를 표현합니다.

• 주요한 개념은 아래와 같습니다.
• 이미지 분할
  • 이미지를 여러 레벨로 분할합니다. 각 레벨에서 이미지는 더 작은 그리드로 나누어집니다.
  • 예를 들어, 레벨 0에서는 이미지를 전체로 사용하고, 레벨 1에서는 이미지를 2x2 그리드로 나누고, 레벨 2에서는 4x4 그리드로 나눕니다.
• 지역 히스토그램 계산
  • 각 그리드 셀에서 특징을 추출하고, Visual Words(시각적 단어)를 기반으로 히스토그램을 생성합니다.
  • 각 히스토그램은 해당 그리드 셀 내의 시각적 단어의 빈도를 나타냅니다.
• 히스토그램 결합
  • 모든 레벨에서 계산된 히스토그램을 결합하여 최종 이미지 표현을 만듭니다.
  • 일반적으로 각 레벨의 히스토그램을 Weight(가중치)를 부여하여 결합합니다.
  • 예를 들어, 레벨 0의 히스토그램에 높은 Weight(가중치)를, 레벨 2의 히스토그램에 낮은 Weight(가중치)를 부여할 수 있습니다.

 

SPM(Spatial Pyramid Matching) 단계별 설명

• Level 0
  • 이미지를 전체로 사용하여 시각적 단어의 히스토그램을 계산합니다.
  • 하나의 히스토그램으로 이미지를 표현합니다.
• Level 1
  • 이미지를 2x2 그리드(4분면)로 나누고, 각 그리드 셀에서 히스토그램을 계산합니다.
  • 네 개의 히스토그램으로 이미지를 표현합니다.
• Level 2
  • 이미지를 4x4 그리드(4 by 4)로 나누고, 각 그리드 셀에서 히스토그램을 계산합니다.
  • 열여섯 개의 히스토그램으로 이미지를 표현합니다.

 

SPM을 이용하여 서로 다른 크기의 Feature Map을 균일한 Vector 크기로 표현

• SPM(Spatial Pyramid Matching)의 순서대로 (level 0,1,2)를 차레대로 적용을 시키면, 3 + 12 + 48 = 63개 원소의 vector 값으로 표현이 가능합니다.

 

SPP (Spatial Pyramid Pooling)

Spatial Pyramid Pooling (SPP)는 CNN에서 다양한 크기의 입력 이미지를 고정된 크기의 출력으로 변환하여 피처 맵을 생성하는 기술입니다.

• 피처 맵(Future Map)
  • CNN을 통해 얻어진 이미지의 Feature Map 입니다. 여기서 Feature Map 의 크기는 8x8과 8x12로 주어집니다.
• 피라미드 레벨(Pyramid Levels)
  • 피라미드의 각 레벨에서 피처 맵을 다양한 크기의 그리드로 분할합니다.
  • 레벨 0: 피처 맵을 하나의 그리드로 사용합니다.
  • 레벨 1: 피처 맵을 2x2 그리드로 분할합니다.
  • 레벨 2: 피처 맵을 4x4 그리드로 분할합니다.
• 맥스 풀링(Max Pooling)
  • 각 Grid Cell 에서 최대 값을 추출합니다. 이를 통해 공간적 크기가 다른 입력 이미지에서도 동일한 크기의 Feature Vector 를 얻을 수 있습니다.

그림을 보면 Pyramid Level에서 Grid 분할을 하고, Max Pooling을 적용합니다. 다만 특징은 여기서 제일 큰 Feature만 가지고 온다는 특징이 있습니다.
그러면 1 + 4 + 16 = 21개 벡터 값으로 표현됩니다.

 

 

SPP-Net Image Classification

Spatial Pyramid Pooling Network (SPP-Net)는 다양한 크기의 입력 이미지에서 고정된 크기의 Feature Vector를 생성하여 이미지 분류와 같은 CV(Computer Vision)작업을 수행하는 데 사용됩니다.

• SPP-Net은 기존의 CNN 구조에 SPP Layer를 추가하여 다양한 크기의 Input Image를 처리할 수 있도록 설계되었습니다.
• 여기서 Input Image(입력 이미지)는 Convolution Layer을 통해 처리되고, 다양한 크기의 Feature Map이 생성됩니다.
• SPP Layer는 다양한 피라미드 레벨에서 Feature Map을 나누고, 각 Grid Cell에서 Max Pooling을 수행하여 고정된 길이의 Feature Vector를 생성합니다.
• Fully-Connected Layer(FC)은 SPP Layer의 출력을 받아 최종 Classification(분류)를 수행합니다.
• 또한 SPP-Net은 2014 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 GoogLeNet과 VGG에 이어 세 번째로 좋은 성능을 보여주었습니다.

 

SPP-Net Object Detection

• SPM 기법이 어떻게 진행되는지는 앞에서 설명했으니까 생략하겠습니다.
• 다만, Convolution Layer의 Window에서 이미지를 탐색하는 방식은 Region Proposal 방식을 이용하는것만 얘기하겠습니다. 참고글로 CNN에 관한 글 링크 달아놓을께요!

[CV] Object Detection 방식 & 성능 평가

• 그리고 Feature Map에서 Selective Search 알고리즘을 이용해서 Image를 Detect 하면 각각 Feature Map에 투영된 사이즈가 다르다는걸 알 수 있습니다.
• 여기서 이제 SPP Layer를 통해 Vector화를 해준 후, 고정된 Size로 2,000개의 데이터를 봐꿔줍니다.

 

SPP-Net 구조

한번 SPP-Net 구조와 각 구성요소가 하는 역할에 데하여 알아보겠습니다.

SPP Layer를 이용해서 2,000번 부하를 줄인게 SPP-Net 입니다.

1. 입력 이미지 (Input Image)

• 객체 탐지를 위해 원본 이미지가 입력됩니다.

2. 영역 제안 (Region Proposal)

• Selective Search: 입력 이미지에서 잠재적인 객체가 있을 만한 영역을 제안합니다. 이 과정에서 수천 개의 Region Proposal이 생성됩니다.

3. 특징 추출기 (Feature Extractor)

• VGG 네트워크: VGG와 같은 사전 학습된 CNN을 사용하여 각 Region Proposal에서 특징을 추출합니다. 이 네트워크는 ImageNet 데이터셋으로 사전 학습되어 있습니다.

4. 피처 맵 (Feature Map)

• CNN을 통과한 각 Region Proposal은 피처 맵으로 변환됩니다.

5. SPP 레이어 (SPP Layer)

• Spatial Pyramid Pooling (SPP): SPP 레이어는 피라미드 구조를 사용하여 피처 맵을 고정된 길이의 벡터로 변환합니다.
• 여러 레벨로 나뉘어 피처 맵을 다양한 크기의 그리드로 분할하고, 각 그리드에서 맥스 풀링을 수행하여 고정된 길이의 피처 벡터를 생성합니다.

6. 완전 연결 층 (Fully-Connected Layer)

• SPP 레이어에서 생성된 고정된 길이의 피처 벡터는 완전 연결 층에 입력됩니다.

7. SVM 분류기 (SVM Classifier)

• 완전 연결 층의 출력을 사용하여 각 Region Proposal의 객체 클래스를 예측합니다.
• 예측된 클래스 확률 예시:
  • Obj1: 0.8
  • Obj2: 0.1
  • Obj3: 0.1

8. 바운딩 박스 회귀 (Bounding Box Regression)

• 각 Region Proposal의 정확한 위치(바운딩 박스 좌표)를 예측합니다.
• 바운딩 박스 회귀는 (x1, y1, x2, y2) 좌표를 사용하여 객체의 위치를 조정합니다.

 

R-CNN과 SPP-Net 비교

• R-CNN과 SPP-Net의 차이점에 데하여 알아보겠습니다.

R-CNN은 이미지 한 개에 2000번 CNN을 통과해야 합니다. 그러면 수행시간이 매우 늘어납니다.
다만 SPP-Net은 이미지 한 개당 한번만 CNN을 통과합니다. 그러면 수행시간이 매우 단축되는 특징이 있습니다.

• SPP-Net은 R-CNN의 단점을 보완하여 효율성을 높인 모델입니다.
• R-CNN은 각 Region Proposal에 대해 CNN을 개별적으로 적용하여 연산량이 많고 처리 시간이 오래 걸립니다.
• SPP-Net은 전체 이미지에 대해 한 번에 CNN을 적용하고, SPP 레이어를 통해 고정된 길이의 피처 벡터를 생성하여 처리 시간을 단축하고 연산 효율성을 높였습니다.
• 아래의 표는 R-CNN과 SPP-Net를 비교한 내용을 정리한 내용입니다.

Region Proposal 방식	Selective Search	Selective Search
CNN 적용 방식	각 Region Proposal에 개별 적용	전체 이미지에 한 번 적용
피처 맵 생성	각 Region Proposal에 대해 별도 피처 맵 생성	공통 피처 맵 생성 후 SPP 적용
Pooling 방식	고정 크기로 조정(Crop/Warp) 후 풀링	SPP 레이어를 통해 다양한 크기의 피라미드 풀링
분류기	SVM	SVM
Bounding Box Regression	있음	있음
연산 효율성	낮음	높음
처리 시간	오래 걸림	빠름
입력 크기 유연성	제한적	높음