[Paper Review] VGGnet Review

논문을 계속 읽어야지 읽어야지 생각하다가.. 용기를 내어서 한번 읽어본 내용을 정리해보겠습니다. 

VGGNet Paper (2014)

VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION.
논문 사이트 링크는 아래에 남겨놓겠습니다. 그러면 한번 차근차근 리뷰해 보겠습니다.

Very Deep Convolutional Networks for Large-Scale Image Recognition

---

Abstract

VGGNet은 ILSVRC 2014 대회에서 2등을 차지한 CNN 모델로 Network의 깊이에 따라 모델이 좋은 성능을 보인다는 점을 보여줬습니다. VGGNet은 3x3 convolution filter로 16-19개의 Weight Layer로 증가 함으로서 상당한 개선을 이룰수 있다는 점을 보여줬습니다.

또한 2014 ImageNet Challenge에서 로컬라이제이션 및 분류 트랙에서 각각 1위와 2위를 차지했으며, 다른 데이터셋에도 일반화된 좋은 결과를 보여주었습니다. 또한 간결하고 depth(깊이)를 깊게 쌓으므로서, Computer Vision 연구 분야쪽에서도 어느정도 의미가 있는 논문입니다.

 

---

Introduction

CNN, Convolution Network는 대규모 이미지, 영상 데이터셋에 데하여 뛰어난 성능을 보였습니다. 그러한 이유는 대규모의 public image repo, GPU, 대규모의 분산된 클러스터, 높은 성능의 컴퓨팅 시스템 덕분에 가능했습니다.

특히, 중요한점은 Deep visual architecture의 발전에서 ImageNet Large-Scale Visual Recognition Challenge(ILSVRC)(Russakovsky et al., 2014)은 얇은 Feature Encoding에서 깊은 ConvNet까지 대규모의 이미지 분류 시스템에서 중요한 역할을 했던 점입니다.

 

또한 ConvNet이 Computer Vision 분야에서 더욱 보편화됨에 따라 기존의 Model의 기존의 Architecture를 개선하여 정확도를 올리기위한 여러 시도가 이루어 졌습니다. 예를 들어 ILSVRC-2013에서 제일 좋은 성능을 보인 모델에선 (Zeiler & Fergus, 2013; Sermanet et al., 2014) 첫번째 Convolution Layer에서 window size, stride를 작게 사용한것처럼 말입니다.

 

근데, 알아야 하는건 또다른 개선점은, 전체 이미지 & 다른 스케일에 데하여 네트워크를 밀집하게 훈련 & 테스트를 했다는것 이랑, ConvNet Architecture의 깊이에 다룬다는 점입니다. 또한 Architecture의 다른 파라미터를 조정시키고, 점진적으로 네트워크의 깊이를 증가시키고, 모든 Convolution Layer에 작은 3x3 Convolution filter를 적용한다는 점입니다.

 

결과적으로, 발전된 ConvNet Architecture를 만들었고, ILSVRC Classifcation & Localization task 에서, 높은 정확도를 달성할 뿐만 아니라, 상대적으로 간단한 파이프라인으로도 모델의 성능이 좋았습니다.

 

---

ConvNet Configurations (ConvNet 구성)

Architecture

 

Input된 Image를 가지고 Model을 Training을 할때 ConvNet의 입력은 고정 크기 224 × 224 RGB 이미지입니다. 사전 처리는 training set에서 계산된 평균 RGB 값을 각 pixel에서 빼는 것입니다. 이미지는 작은 receptive field(3×3)를 사용하는 convolutional layer stack을 통해 전달됩니다. 일부 configuration에서는 1×1 convolution filter도 사용합니다. Convolution stride는 1 pixel로 고정되며, spatial padding은 convolution 후 spatial resolution을 유지하도록 설정됩니다. Spatial pooling은 2×2 pixel 창에서 max-pooling을 수행합니다.

 

Convolutional layer stack(architecture에 따라 깊이가 다름) 뒤에는 세 개의 Fully-Connected (FC) layer가 있습니다. 첫 두 layer는 각각 4096 channel, 마지막 layer는 1000개의 class(ILSVRC classification)를 수행하므로 1000 channel을 가집니다. 마지막 layer는 softmax layer입니다. 모든 network에서 fully-connected layer configuration은 동일합니다.

 

모든 hidden layer에는 ReLU (Krizhevsky et al., 2012) non-linearity가 적용됩니다. Network에는 Local Response Normalisation (LRN) layer가 포함되지 않습니다. 이는 LRN layer가 ILSVRC dataset에서 performance(성능)을 향상시키지 못하고 memory consumption(메모리 소비)과 computation time(계산 시간)을 증가시킨다는 것을 실험적으로 발견했기 때문입니다.

Configurations

이 paper에서 평가된 ConvNet configuration은 Table 1에 요약되어 있으며, 각각 하나의 column으로 표시됩니다.

Network의 depth는 왼쪽(A)에서 오른쪽(E)으로 이동하면서 증가합니다. 각 configuration은 2.1절에서 설명한 generic design을 따르며, depth만 다릅니다.

 

network A는 11개의 weight layer(8개의 convolutional layer와 3개의 FC layer)를 가지고 있고, network E는 19개의 weight layer(16개의 convolutional layer와 3개의 FC layer)를 가지고 있습니다.

Convolutional layer의 width(channel 수)는 비교적 작으며, 첫 번째 layer에서 64로 시작하여 각 max-pooling layer 후 두 배로 증가하여 512에 도달합니다.

 

Table 2는 각 configuration의 parameter 수를 나타내고 있습니다. Depth가 깊지만, 더 shallow하고 더 큰 convolutional layer width와 receptive field를 가진 network의 parameter 수보다 많지 않습니다.

Discussion

이 논문에서의 ConvNet 구성은 ILSVRC-2012 (Krizhevsky et al., 2012)와 ILSVRC-2013 (Zeiler & Fergus, 2013; Sermanet et al., 2014)의 최고 성능을 보여주었던 엔트리와는 상당히 다릅니다.

 

receptive field의 장점

Krizhevsky et al. (2012)에서 사용된 첫 번째 합성곱 레이어의 수용 필드는 11×11 크기였고, Zeiler & Fergus (2013)와 Sermanet et al. (2014)에서는 7×7 크기였습니다.

그러나 이 논문에선 네트워크 전체에 걸쳐 매우 작은 3×3 receptive field를 사용합니다.

 

더 많은 비선형성(ReLU) 추가: 7×7 크기의 단일 Convolution Layer 대신 3×3 크기의 세 개의 Convolution Layer를 사용하는 경우, 세 개의 비선형성 레이어(ReLU)를 추가할 수 있습니다. 이는 네트워크의 표현력을 증가시키고, 더 복잡한 함수 근사에 도움이 됩니다. 결정 함수의 비선형성이 높아지면, Classification(분류) 작업에서 더 나은 성능을 발휘할 수 있습니다.

 

파라미터 수 감소: 3×3 Convolution Layer 세 개로 구성된 스택의 경우, 입력과 출력이 C 채널일 때, 총 파라미터 수는 3 * (3 * 3 * C^2) = 27C^2입니다. 반면, 단일 7×7 Convolution Layer는 7 * 7 * C^2 = 49C^2의 파라미터를 가지므로, 파라미터 수가 81% 더 많습니다.

이는 7×7 Convolution Filter 에 비해 3×3 Filter가 더 적은 수의 파라미터를 가지며, 이는 모델의 규제(regularization) 효과를 가져옵니다. 따라서 작은 크기의 Filter를 여러 개 사용하는 것은 모델의 복잡성을 줄이면서도 성능을 향상시킬 수 있습니다.

 

더 깊은 네트워크 구성 가능: 작은 Filter를 사용하면 네트워크의 depth(깊이)를 증가시키기 용이합니다.

이는 깊은 Network가 더 복잡한 특징을 학습할 수 있기 때문에, 이미지 인식 작업에서 더 높은 성능을 발휘할 수 있습니다.

 

 

1x1 Convolution Layer의 역할

1×1 Convolution Layer의 도입은 결정 함수의 비선형성을 증가시키는 방법 중 하나입니다.

1×1 Convolution은 입력 Channel의 선형 변환으로 볼 수 있으며, 이는 비선형 활성화 함수(ReLU)와 결합되어 추가적인 비선형성을 제공합니다.

Lin et al. (2014)의 "Network in Network" 아키텍처에서도 1×1 Convolution Layer를 활용하여 좋은 성능을 달성한 바 있습니다.

 

 

작은 Filter의 사용 사례

작은 크기의 Convolution Filter 사용은 이전에도 시도된 바 있습니다. 예를 들어, Ciresan et al. (2011)은 작은 Filter를 사용한 네트워크를 제안했으나, 이 논문에 제시된 Network 만큼 깊지는 않았고, 대규모 ILSVRC 데이터셋에서 평가되지 않았습니다. Goodfellow et al. (2014)는 깊은 ConvNet(11개 가중치 레이어)을 스트리트 번호 인식 작업에 적용하여, depth(깊이)가 증가함에 따라 성능이 향상됨을 보였습니다.

 

또한, ILSVRC-2014 분류 작업에서 상위 성능을 기록한 GoogLeNet (Szegedy et al., 2014)은 독립적으로 개발되었지만, 매우 깊은 ConvNet(22개 Weight Layer)과 작은 Convolution Filter를 사용한다는 점에서 유사합니다. GoogLeNet은 3×3 필터뿐만 아니라 1×1 및 5×5 Convolution도 사용합니다. 그리고 첫 번째 Layer에서 Feature Map의 공간 해상도를 더 공격적으로 줄여 계산량을 감소시킵니다. VGGNet은 단일 네트워크 분류 정확도 면에서 GoogLeNet (Szegedy et al., 2014)보다 더 나은 성능을 보입니다.

---

Classification Framework (분류 프레임워크)

Training

이 논문에서의 ConvNet 훈련 방법과 세부사항에 데하여 설명해 보겠습니다.

훈련은 미니 배치 경사 하강법(Gradient Descent)을 사용하여 다항 로지스틱 회귀(Multinomial Logistic Regression) 목표 함수를 최적화합니다. 이를 위해 역전파(Backpropagation) 알고리즘(LeCun et al., 1989)을 사용합니다.

• 배치 크기(Batch Size): 256, 모멘텀(Momentum): 0.9

 

정규화 (Regularization)

Model Training은 2가지 방법으로 Regularization(정규화) 되었습니다.

1. 가중치 감소(Weight Decay): 이는 L2 패널티를 사용하여 Weight 크기를 제어하는 방식입니다. L2 패널티 승수는 5×10^-4로 설정되었습니다.
2. 드롭아웃 정규화(Dropout Regularization): 첫 Fully-Connected Layer 에 대해 드롭아웃을 적용하였습니다. Dropout 비율은 0.5로 설정되었습니다.

 

학습률 (Learning Rate)

• 초기 Learning Rate 은 10^-2로 설정되었습니다.
• Validation Set (검증 세트)에서 Accurary(정확도)가 더 이상 향상되지 않을 때, Learning Rate 10배씩 감소시켰습니다.
• 총 3번 Learning Rate(학습률)을 감소시키고, 370K 반복(74 Epoch) 후에 학습을 중단했습니다.

 

깊은 네트워크의 수렴 (Convergence)

이 논문에서의 Neural Network (신경망 네트워크)는 Krizhevsky et al. (2012)보다 더 많은 매개변수와 더 깊은 구조를 가지고 있지만, 다음의 이유로 인해 더 적은 Epoch 내에 수렴합니다.

1. 내재적 정규화(Implicit Regularization): 더 깊은 네트워크와 작은 합성곱 필터 크기가 내재적 정규화 효과를 가져왔습니다.
2. 레이어 사전 초기화(Pre-initialization of Layers): 특정 Layer(레이어)를 미리 초기화함으로써 학습이 촉진되었습니다.

 

네트워크 가중치 초기화 (Network Weights Initialization)

• 네트워크 Weight(가중치)의 초기화는 매우 중요합니다. 초기화가 잘못되면, 깊은 네트워크에서 Gradient(기울기)의 불안정성으로 인해 학습이 지연될 수 있습니다.
• 첫 번째 단계: 초기에는 비교적 얕은 구성인 네트워크 A(Table 1)를 무작위 초기화로 훈련하였습니다.
• 두 번째 단계: 더 깊은 Architecture를 훈련할 때, 네트워크 A의 첫 네 Convolution Layer와 마지막 3개의 Fully-Connected Layer를 초기화하였습니다. 중간 Layer는 무작위로 초기화되었습니다. 미리 초기화된 Layer의 Learning Rate은 감소시키지 않고 학습 도중 변화할 수 있도록 했습니다.

 

무작위 초기화 (Random Initialization)

• 무작위 초기화에서는 Mean(평균)이 0이고 Variance(분산)이 10^-2인 정규 분포에서 Weight(가중치)를 샘플링하였습니다. Bias(편향)은 0으로 초기화했습니다.
• Glorot & Bengio (2010)의 무작위 초기화 절차를 사용하여 Pretrained(사전 훈련) 없이도 Weight(가중치)를 초기화할 수 있음을 발견했습니다.

 

고정 크기 224×224 ConvNet 입력 이미지

• 이미지는 재조정된 훈련 이미지에서 무작위로 잘라냅니다(한 이미지당 한 번 잘라내기).
• Training Set(훈련 세트)를 더 확장하기 위해, 잘라낸 이미지를 무작위로 가로로 뒤집고, RGB 색상을 무작위로 변경했습니다.

 

훈련 이미지 크기 (Training Image Size)

훈련 이미지의 가장 작은 변의 크기를 S라고 할 때, ConvNet 입력은 224×224 크기로 고정됩니다. S는 최소 224 이상이어야 하며, 두 가지 접근법을 사용합니다.

출처: https://medium.com/@msmapark2

1. 단일 스케일 훈련(Single-Scale Training): S를 고정합니다. S=256과 S=384에서 모델을 평가했습니다. S=256으로 훈련된 네트워크의 Weight를 사용하여 S=384 Network를 초기화하고, 작은 초기 Learning Rate를 10^-3을 사용했습니다.
2. 멀티 스케일 훈련(Multi-Scale Training): 각 훈련 이미지를 [Smin, Smax] 범위에서 무작위로 샘플링된 S로 재조정합니다. Smin=256, Smax=512를 사용했습니다. 이는 Scale Jittering 을 통해 훈련 세트를 확장하는 것으로 볼 수 있으며, 객체 크기가 다양한 이미지를 인식하는 데 유리합니다.

 

Testing

테스트 시 ConvNet과 입력 이미지를 사용하여 이미지를 분류하는 절차는 다음과 같습니다:

테스트 이미지 재조정

테스트할 이미지는 먼저 고정된 작은 측면 크기 Q로 등방성(iso-tropically)으로 재조정됩니다.

여기서 Q는 훈련 시의 크기 S와 일치할 필요는 없습니다. (여러 Q 값을 사용하는 것이 성능 향상에 도움이 됩니다.)

 

 

밀집 평가 (Dense Evaluation)

재조정된 테스트 이미지를 전체적으로 평가하기 위해 네트워크를 밀집하게 적용합니다. 밀집 평가의 주요 단계는 다음과 같습니다:

1. Fully-Connected Layer(완전 연결 레이어)를 Convoultion Layer(합성곱 레이어)로 변환:
   • 첫 번째 Fully-Connected Layer(완전 연결 레이어)는 7×7 Convoultion Layer(합성곱 레이어)로 변환됩니다.
   • 마지막 두 개의 Fully-Connected Layer(완전 연결 레이어) 1×1 Convoultion Layer(합성곱 레이어)로 변환됩니다.
2. 밀집 네트워크 적용:
   • 변환된 완전 Fully-Connected Layer(완전 연결 레이어)를 전체(잘리지 않은) 이미지에 적용합니다.
   • 이 결과는 클래스 점수 맵(class score map)을 생성하며, Class(클래스) 수와 동일한 수의 Channel(채널)과 Input Image (입력 이미지) 크기에 따라 다양한 공간 해상도를 가집니다.
3. 클래스 점수 맵의 공간 평균화:
   • 클래스 점수 맵을 공간적으로 평균화(합-Pooling)하여 이미지에 대한 고정 크기 벡터의 클래스 점수를 얻습니다.
   • 테스트 세트를 가로로 뒤집어 원본 이미지와 뒤집힌 이미지의 Softmax Class 포스트리어를 평균화하여 최종 점수를 계산합니다.

 

다중 크롭 평가 (Multi-Crop Evaluation)

밀집 평가와 달리 다중 크롭 평가에서는 이미지의 여러 부분을 잘라서 평가합니다. 이 방법은 다음과 같은 장점이 있습니다:

1. 세밀한 입력 이미지 샘플링:
   • 다중 크롭 평가는 입력 이미지의 세밀한 샘플링을 제공하여 성능을 향상시킬 수 있습니다.
   • 네트워크를 각 크롭에 대해 재계산해야 하므로 효율성이 떨어지지만, 성능 향상 가능성이 있습니다.
2. 다양한 경계 조건:
   • 밀집 평가와 다중 크롭 평가는 다른 경계 조건을 사용합니다.
   • 밀집 평가에서는 Convolution Feature Map 이 이미지의 이웃 부분으로 Padding되지만, 다중 크롭 평가는 영(0)으로 Padding 됩니다.
   • 이러한 차이로 인해 Network의 수용 필드가 증가하여 더 많은 Context를 포착할 수 있습니다.

 

테스트 시간 증강 (Test Time Augmentation)

테스트 시간 증강 기법을 사용하면 단일 이미지를 여러 크기로 조정하고, 다양한 크롭을 평가하여 성능을 향상시킬 수 있습니다.

이는 단일 Scale Test 보다 더 나은 성능을 발휘할 수 있습니다.

 

효율성 고려

다중 크롭 평가가 밀집 평가보다 시간이 더 많이 소요될 수 있지만, 정확성을 향상시키는 경우가 많습니다.

두 방법을 결합하여 Softmax Output(출력)을 평균화하면 성능이 더욱 향상될 수 있습니다.

---

Implementation Details

VGGNet의 구현은 공개된 C++ Caffe 툴박스(Jia, 2013)를 기반으로 하지만, 여러 GPU에서 훈련 및 평가를 수행할 수 있도록 몇 가지 중요한 수정이 포함되어 있습니다. 주요 수정 사항과 구현 세부 사항은 다음과 같습니다.

 

다중 GPU 훈련 (Multi-GPU Training)

다중 GPU 훈련은 데이터 병렬성을 이용합니다. 다음은 다중 GPU 훈련 과정의 주요 단계입니다:

1. 데이터 Batch 분할:
   • 각 Batch의 훈련 이미지를 여러 GPU 배치로 나누어 각 GPU에서 병렬로 처리합니다.
2. Gradient 계산:
   • 각 GPU에서 병렬로 Batch마다 Gradient(기울기)를 계산합니다.
3. Gradient 평균화:
   • 각 GPU Batch의 Gradient(기울기)를 평균화하여 전체 Batch의 Gradient(기울기)를 얻습니다.
4. 동기화된 Gradient 계산:
   • GPU 간 Gradient 계산은 동기화되므로, 단일 GPU에서 훈련한 것과 동일한 결과를 얻을 수 있습니다.

 

GPU 시스템의 성능 향상

• 성능 향상:
  • 우리는 네트워크 훈련 속도를 향상시키기 위해 단일 시스템에 설치된 여러 GPU를 사용합니다.
  • 더 복잡한 병렬화 방법(Krizhevsky, 2014)이 최근 제안되었지만, 단순한 데이터 병렬성 방법을 사용하여도 4개의 GPU 시스템에서 단일 GPU 사용에 비해 3.75배의 속도 향상을 달성했습니다.
• 하드웨어 구성:
  • Network 훈련은 네 개의 NVIDIA Titan Black GPU가 장착된 시스템에서 수행되었습니다.
  • 단일 Network 훈련에는 아키텍처에 따라 2-3주가 소요되었습니다.

 

합성곱 신경망(CNN) 툴박스 Caffe의 수정

Caffe는 ConvNet 훈련 및 평가를 위한 공개된 C++ 라이브러리입니다.

그러나 이 논문에서는 다음과 같은 여러 수정 사항을 통해 Caffe를 개선하였습니다:

1. 다중 GPU Training(훈련) 및 Evaluation(평가) 지원:
   • 여러 GPU에서 Training 및 Evaluation(평가)를 수행할 수 있도록 Caffe 코드를 수정했습니다.
2. 전체 이미지에서 Training(훈련) 및 Evaluation(평가):
   • 전체 크기의 이미지를 여러 Scale(크기)에서 Training(훈련) 및 Evaluation(평가)할 수 있도록 수정하였습니다.
3. 데이터 병렬성 활용:
   • 다중 GPU 훈련에서 데이터 병렬성을 활용하여 Batch Gradient(배치 그래디언트)를 병렬로 계산하고 평균화했습니다.

 

Implementation(구현)의 주요 특징

• 다중 스케일 지원:
  • 훈련 및 테스트 시 여러 스케일을 지원하여 네트워크의 성능을 극대화했습니다.
• 효율성:
  • 데이터 병렬성을 활용하여 훈련 속도를 향상시켰습니다.

 

---

Classification Experiments (분류 실험)

ILSVRC-2012 데이터셋에서 제안된 ConvNet 아키텍처를 사용하여 이미지 분류 실험을 수행한 결과를 제시합니다.

 

ILSVRC-2012 데이터셋에는 1000개의 클래스 이미지가 포함되어 있으며, 훈련 세트(130만 장), 검증 세트(5만 장), 테스트 세트(10만 장)로 나뉩니다.

분류 성능은 두 가지 측정 방법으로 평가됩니다. top-1 오류와 top-5 오류. top-1 오류는 잘못 분류된 이미지의 비율이며, top-5 오류는 상위 5개의 예측 클래스에 정답 클래스가 포함되지 않은 비율을 나타냅니다.

 

Single Scale Evaluation (단일 스케일 평가)

우리는 먼저 단일 스케일에서 각 ConvNet 모델의 성능을 평가했습니다. 테스트 이미지 크기는 다음과 같이 설정되었습니다.

고정된 S에 대해 Q = S, 그리고 Jittering된 S ∈ [Smin, Smax]에 대해 Q = 0.5(Smin + Smax). 실험 결과는 다음과 같습니다:

• 로컬 응답 정규화(LRN) 사용 여부:
  • A-LRN 네트워크는 LRN을 사용하지 않은 A 네트워크보다 성능이 향상되지 않았습니다.
  • 따라서, 더 깊은 아키텍처(B–E)에서는 정규화를 사용하지 않았습니다.
• 네트워크 깊이 증가에 따른 성능 변화:
  • Network의 depth(깊이)가 증가함에 따라 Classification Error(분류 오류)가 감소했습니다.
  • 예를 들어, 11개 Layer(레이어)를 가진 A Network에서 19개 Layer(레이어)를 가진 E Network로 이동할수록 성능이 향상되었습니다.
  • 구성 C는 1×1 Convolution Layer 3개를 포함하지만, 3×3 Convolution Layer를 사용하는 구성 D보다 성능이 떨어졌습니다.
  • 이는 추가적인 비선형성이 도움이 되지만(C가 B보다 나음), 공간적 문맥을 포착하는 것이 중요함을 시사합니다(D가 C보다 나음).
• 스케일 지터링의 효과:
  • Training(훈련) 시 Scale Jittering (S ∈ [256; 512])을 사용하면 단일 스케일(S = 256 또는 S = 384)로 훈련한 것보다 성능이 더 좋아집니다. 이는 Scale Jittering을 통한 훈련 세트 확장이 멀티 스케일 이미지 통계를 캡처하는 데 도움이 됨을 나타냅니다.

• 단일 스케일 평가 결과 (Table 3)

ConvNet 구성 (표 1 참조)	훈련 스케일 (S)	테스트 스케일 (Q)	top-1 검증 오류 (%)	top-5 검증 오류 (%)
A	256	256	29.6	10.4
A-LRN	256	256	29.7	10.5
B	256	256	28.7	9.9
C	256	256	28.1	9.4
C	384	384	28.1	9.3
C	[256;512]	384	27.3	8.8
D	256	256	27.0	8.8
D	384	384	26.8	8.7
D	[256;512]	384	25.6	8.1
E	256	256	27.3	9.0
E	384	384	26.9	8.7
E	[256;512]	384	25.5	8.0

 

Multi Scale Evaluation (멀티 스케일 평가)

다양한 크기로 재조정된 테스트 이미지(Q 값을 다르게 설정)를 사용하여 모델을 평가한 후,
결과 클래스 포스트리어를 평균화하는 방식입니다.

• 훈련 스케일에 따른 테스트 스케일 설정:
  • 고정된 S로 훈련된 모델은 훈련 스케일에 가까운 세 가지 테스트 이미지 크기(Q = {S - 32, S, S + 32})에서 평가했습니다.
  • Scale Jittering (S ∈ [256; 512])으로 훈련된 모델은 더 넓은 범위의 테스트 크기(Q = {Smin, 0.5(Smin + Smax), Smax})에서 평가했습니다.
• 멀티 스케일 평가 결과 (Table 4)

ConvNet 구성 (표 1 참조)	훈련 스케일 (S)	테스트 스케일 (Q)	top-1 검증 오류 (%)	top-5 검증 오류 (%)
B	256	224,256,288	28.2	9.6
C	256	224,256,288	27.7	9.2
C	384	352,384,416	27.8	9.2
C	[256; 512]	256,384,512	26.3	8.2
D	256	224,256,288	26.6	8.6
D	384	352,384,416	26.5	8.6
D	[256; 512]	256,384,512	24.8	7.5
E	256	224,256,288	26.9	8.7
E	384	352,384,416	26.7	8.6
E	[256; 512]	256,384,512	24.8	7.5

 

Multi Crop Evaluation (멀티 크롭 평가)

밀집 ConvNet 평가와 멀티 크롭 평가를 비교하고, 두 평가 방법을 결합한 성능을 평가했습니다.

• 멀티 크롭 평가:
  • 다중 크롭 평가는 이미지의 여러 부분을 잘라서 평가하는 방법입니다.
  • 이는 더 나은 성능을 제공할 수 있지만, 효율성은 떨어집니다.
• 평가 방법 비교:
  • 멀티 크롭 평가는 밀집 평가보다 약간 더 나은 성능을 보였으며, 두 방법을 결합하면 더 나은 성능을 얻을 수 있음을 확인했습니다. 이는 서로 다른 경계 조건을 사용하기 때문입니다.
• 멀티 크롭 평가 결과 (Table 5)

ConvNet 구성 (표 1 참조)	평가 방법	top-1 검증 오류 (%)	top-5 검증 오류 (%)
D	밀집 평가(dense)	24.8	7.5
D	멀티 크롭 평가(multi-crop)	24.6	7.5
D	멀티 크롭 & 밀집 평가	24.4	7.2
E	밀집 평가(dense)	24.8	7.5
E	멀티 크롭 평가(multi-crop)	24.6	7.4
E	멀티 크롭 & 밀집 평가	24.4	7.1

 

ConvNet Fusion (ConvNet과 융합)

여러 모델의 출력을 결합하여 성능을 향상시키는 방법을 설명합니다. ConvNet 융합은 여러 네트워크의 소프트맥스 클래스 포스트리어(Softmax class posterior)를 평균화하여 수행됩니다. 이러한 방법은 개별 모델의 상보성을 활용하여 성능을 개선할 수 있습니다.

ILSVRC 제출 시점의 네트워크 융합

ILSVRC 제출 당시에는 단일 스케일 네트워크와 멀티 스케일 모델 D를 사용하여 총 7개의 네트워크를 융합했습니다.

• 단일 스케일 네트워크: 고정된 스케일로 훈련된 모델
• 멀티 스케일 모델 D: 여러 스케일에서 훈련된 모델

이 융합 네트워크는 ILSVRC 테스트 세트에서 7.3%의 top-5 오류율을 달성했습니다.

 

ILSVRC 제출 이후의 네트워크 융합

제출 후, 두 가지 멀티 스케일 모델의 결합을 통해 성능을 더욱 향상시켰습니다. 이는 다음 두 모델을 융합한 것입니다:

1. 모델 D: Scale Jittering(S ∈ [256; 512])으로 훈련된 모델
2. 모델 E: Scale Jittering(S ∈ [256; 512])으로 훈련된 모델

이 두 모델을 융합한 결과, 테스트 세트에서 top-5 오류율을 7.0%로 감소시켰습니다.

또한, 밀집 평가와 멀티 크롭 평가를 결합한 결과, 성능이 더욱 향상되었습니다.

• 밀집 평가와 멀티 크롭 평가 결합: 이 방법을 사용하면 단일 모델이 각각의 평가 방법에서 얻은 Softmax 출력을 결합하여 더 나은 성능을 달성할 수 있습니다.

결합된 ConvNet 모델	top-1 검증 오류 (%)	top-5 검증 오류 (%)	top-5 테스트 오류 (%)
ILSVRC 제출 (D/256/224,256,288), (D/384/352,384,416), (D/[256;512]/256,384,512), (C/256/224,256,288), (C/384/352,384,416), (E/256/224,256,288), (E/384/352,384,416)	24.7	7.5	7.3
제출 후 (D/[256;512]/256,384,512), (E/[256;512]/256,384,512), 밀집 평가	24.0	7.1	7.0
제출 후 (D/[256;512]/256,384,512), (E/[256;512]/256,384,512), 멀티 크롭	23.9	7.2	-
제출 후 (D/[256;512]/256,384,512), (E/[256;512]/256,384,512), 멀티 크롭 & 밀집 평가	23.7	6.8	6.8

 

Comparision with the state of the art (최첨단과 비교)

ILSVRC-2014 챌린지 결과

ILSVRC-2014 챌린지의 분류 과제에서, "VGG"는 2위를 차지했습니다.

최종 제출 모델은 7개의 네트워크를 앙상블하여 7.3%의 top-5 테스트 오류율을 기록했습니다.

제출 후, 모델의 더 나은 성능을 위해 두 가지 멀티 스케일 모델의 앙상블을 시도했고, 다음과 같은 결과를 얻었습니다:

• 단일 네트워크 평가: 우리의 가장 좋은 단일 Network는 7.0%의 테스트 오류율을 기록했습니다.
• 네트워크 앙상블 평가: 두 개의 멀티 스케일 모델을 결합하여 6.8%의 테스트 오류율을 달성했습니다.

 

GoogLeNet과의 비교

GoogLeNet(Szegedy et al., 2014)은 ILSVRC-2014 분류 과제에서 1위를 차지한 모델로, 6.7%의 top-5 오류율을 기록했습니다. GoogLeNet은 매우 깊은 ConvNet(22개의 Weight Layer)과 작은 Convoultion Filter를 사용하는 모델입니다. GoogLeNet의 네트워크 토폴로지는 우리의 것보다 더 복잡하며, 첫 번째 Layer에서 Feature Map의 공간 해상도를 더 공격적으로 줄여 계산량을 감소시킵니다.

• 단일 네트워크 성능: 우리의 모델이 단일 GoogLeNet 모델보다 0.9% 더 낮은 테스트 오류율을 기록했습니다.
• 네트워크 앙상블 성능: GoogLeNet의 앙상블 결과는 6.7%로, 우리의 결과와 유사합니다.

 

MSRA와의 비교

MSRA(He et al., 2014) 팀은 11개의 네트워크를 결합하여 8.1%의 테스트 오류율을 기록했습니다.

MSRA의 단일 네트워크 성능은 9.1%의 오류율을 기록했습니다.

 

Clarifai와의 비교

Clarifai(Russakovsky et al., 2014)는 ILSVRC-2013 챌린지의 승자로, 외부 데이터를 사용하지 않은 경우 11.7%, 외부 데이터를 사용한 경우 11.2%의 top-5 오류율을 기록했습니다.

우리의 모델은 외부 데이터를 사용하지 않고도 Clarifai 모델보다 훨씬 우수한 성능을 보였습니다.

 

Zeiler & Fergus와의 비교

Zeiler & Fergus (Zeiler & Fergus, 2013)는 6개의 네트워크를 결합하여 14.8%의 테스트 오류율을 기록했습니다.

단일 네트워크 성능은 16.1%의 오류율을 보였습니다. 우리의 모델은 이 모델들보다 훨씬 더 우수한 성능을 보였습니다.

 

OverFeat와의 비교

OverFeat(Sermanet et al., 2014)은 7개의 네트워크를 결합하여 13.6%의 테스트 오류율을 기록했습니다.

단일 네트워크 성능은 14.2%의 오류율을 보였습니다. 우리의 모델은 OverFeat 모델보다 훨씬 더 우수한 성능을 보였습니다.

 

Krizhevsky et al.과의 비교

Krizhevsky et al. (Krizhevsky et al., 2012)는 5개의 네트워크를 결합하여 16.4%의 테스트 오류율을 기록했습니다

단일 네트워크 성능은 18.2%의 오류율을 보였습니다. 우리의 모델은 이 모델들보다 훨씬 더 우수한 성능을 보였습니다.

 

종합 평가

우리의 매우 깊은 ConvNet 모델은 기존 모델들과 비교하여 상당히 우수한 성능을 보였습니다. 특히, 단일 네트워크 성능에서는 모든 기존 모델을 능가했으며, 네트워크 앙상블을 통해 더욱 향상된 결과를 얻었습니다. 우리의 연구는 깊은 네트워크가 더 나은 이미지 분류 성능을 발휘할 수 있음을 입증하였습니다.

• 다른 모델들과 비교 결과 (Table 7)

방법	top-1 검증 오류 (%)	top-5 검증 오류 (%)	top-5 테스트 오류 (%)
VGG (2개 네트, 멀티 크롭 & 밀집 평가)	23.7	6.8	6.8
VGG (1개 네트, 멀티 크롭 & 밀집 평가)	24.4	7.1	7.0
VGG (ILSVRC 제출, 7개 네트, 밀집 평가)	24.7	7.5	7.3
GoogLeNet (1개 네트)	-	7.9	-
GoogLeNet (7개 네트)	-	6.7	-
MSRA (11개 네트)	-	-	8.1
MSRA (1개 네트)	27.9	9.1	9.1
Clarifai (외부 데이터 없이, 여러 네트)	-	-	11.7
Clarifai (외부 데이터 없이, 1개 네트)	-	-	12.5
Zeiler & Fergus (6개 네트)	36.0	14.7	14.8
Zeiler & Fergus (1개 네트)	37.5	16.0	16.1
OverFeat (7개 네트)	34.0	13.2	13.6
OverFeat (1개 네트)	35.7	14.2	-
Krizhevsky et al. (5개 네트)	38.1	16.4	16.4
Krizhevsky et al. (1개 네트)	40.7	18.2	-

---

Conclusion (결론)

여기서 알수 있는건 깊은 ConvNet (19개의 Weight Layer)를 대규모 이미지 분류를 위해 평가를 했습니다.

그 결과, 깊이 있는 표현이 분류 정확도에 유리하다는것을 입증했습니다.

또한 기존의 ConvNet Architecture를 사용하면서 깊이를 증가시켜도, ImageNet Challenge Dataset에서도 좋은 성능을 달성할수 있음을 보여주었습니다.

또한 VGGnet 모델이 다른 작업과 데이터 세트에 대해 잘 일반화되어 덜 깊은 이미지 표현보다 성능이 우수함을 보여주었습니다.

이 결과는 시각적 표현에서 깊이의 중요성을 다시 한 번 확인시켜 준다는 것입니다.

 

---

그러면 논문 리뷰는 여기서 그만 해보고, 다음 글은 VGG16 을 PyTorch로 구현한 코드를 들고 오겠습니다~