[DL] Convolution Neural Network - CNN (합성곱 신경망), Convolution Layer, Pooling Layer

Convolutional Neural Network, CNN은 이미지 인식 & 음식 인식등 다양한 곳에서 사용됩니다.

• 특히 이미지 인식 분야 에서 딥러닝을 활용한 기법은 거이 다 CNN을 기초로 합니다.

CNN 전체 구조

Convolution Layer(합성곱 계층)과 Pooling Layer(풀링 계층)이 이번에 새로 등장합니다.

• 우리가 본 지금까지의 Neural Network(신경망)은 모든 Neuron과 연결되어 있었습니다.
• 이를 Fully-Connected (FC) - 완전연결 이라고 하며, 완전히 연결된 Layer는 'Affine 계층' 이라는 이름으로 구현했습니다.
• 만약 Affine 계층을 사용하면, Layer가 5개인 Fully-Connected Neural Network(FC 신경망)은 아래의 구림과 같이 구현할 수 있습니다.

완전연결 계층(Affine 계층)으로 이루어진 네트워크

• Fully-Connected Neural Network(완전연결 신경망)은 Affine 뒤에 Activation Function (활성화 함수)를 가지는 ReLU or Sigmoid 계층이 이어집니다. 
• 그러면 Convolutional Neural Network(CNN)의 구조는 어떻게 다를까요? 아래의 그림을 보면서 한번 봐보겠습니다.

CNN으로 이루어진 네트워크. Conv(합성곱), Pooling(풀링) 계층이 추가됨

• 주요한 특징은 Conv(합성곱), Pooling(풀링) 계층이 추가되었다는 특징이 있습니다.
• 또한 Output(출력)에 가까운 층에서는 지금까지 'Affine-ReLU' 계층을 사용할 수 있다는 점이고, 마지막 Output 계층에서는 'Affine-Softmax' 조합을 그대로 사용한다는 점입니다. 

---

Convolution Layer - 합성곱 계층

CNN에서는 Padding(패딩), Stride(스트라이드)등 CNN의 고유의 용어가 등장합니다.
그리고 각 Layer(계층) 사이에는 3-Dimenion(3차원) 데이터같이 입체적인 데이터가 흐른다는 점에서 Fully-Connected Neural Network(완전연결 신경망)과는 다릅니다.

• Fully-Connected Layer(완전연결 계층)에서의 문제점은 무엇일까요?
• 일단, Fully-Connected Layer(완전연결 계층)에서는 인접하는 Layer(계층)의 Neuron이 모두 연결되고 Output의 수는 임의로 정할수 있습니다.
• 다만 그러면 생기는 문제는 '데이터의 형상이 무시'된다는 사실입니다.
• 예를 들어 이미지는 가로, 세로, 체널(색상)으로 구성된 3차원 데이터인데, 이걸 Fully-Connected Layer(완전연결 계층)에 입력할때는 3차원 데이터를 평평한 1차원 데이터로 Flatten(평탄화)해줘야 한다는 특징이 있습니다.
• CNN에서는 Convolution Layer(합성곱 계층)의 input, output data를 'Feature map(특징맵)'이라고 합니다.
  • input data를 입력 특징 맵(input feature map), output data를 출력 특징 맵(output feature map)이라고 한다.

---

Convolution 연산 - 합성곱 연산

Convolution Layer (합성곱 계층)에서 '합성곱 연산' 을 처리합니다.

• 합성곱 연산은 이미지 처리에서 말하는 'filter 연산'에 해당합니다. 한번 예시를 보면서 설명해 보겠습니다.

• 위의 그림과 같이 Convolution 연산은 Input data에 filter를 적용합니다.

Data filter의 형상: (높이-height, 넓이-width)로 표기합니다.

• 여기서 입력은 (4,4), filter는 (3,3), 출력은 (2,2)가 됩니다. filter를 다른말로 Kernel(커널)이라고 하기도 합니다.
• Convolution 연산은 filter의 window(윈도우)를 일정 간격으로 이동해 가면서 input data에 적용합니다.
• 여기서 말하는 window는 아래의 그림의 회색 3x3 부분을 나타냅니다.
• 입력과 filter에서 대응하는 원소끼리 곱한후 그 총합을 구하는 방식으로 계산이 됩니다.
  • 이계산을 '단일 곱셉-누산(fused multifly-add, FMA)' 라고 합니다.
• 이 과정을 모든 장소에서 수행하면 Convolution 연산의 출력이 완성됩니다.

Convolution(합성곱) 연산의 계산 순서

• 또한 Fully-Connected Neural Network(완전연결 신경망)에는 Weight(가중치), Bias(편향)이 존재합니다.
• CNN에서는 filter의 parameter가 그동안의 'Weight(가중치)'에 해당합니다. 또한 Bias(편향)도 존재합니다.
• Bias(편향)도 포함하면 아래의 그림과 같은 Flow가 됩니다.

Convolution 연산의 Bias(편향)

 

• 그리고 Bias(편향)은 항상 하나만 존재합니다(size는 1x1), 그리고 그 하나의 값을 filter에 적용한 모든 원소에 더합니다. 

---

Padding (패딩)

합성곱 연산을 수행하기 전에 Input Data 주변을 특정값 - 0 으로 채우기도 합니다. 이를 패딩(padding)이라고 합니다.
Convoultion 연산에서 자주 이용하는 기법입니다.

• 아래 그림으로 예시를 보면 (4,4) 크기에 input data의 폭이 1인 padding을 적용한 모습입니다.
• 폭이 1짜리 padding이면 input data 사방 1 pixel을 특정 값으로 채우는 것입니다.

• 처음의 크기가 (4, 4)인 Input data에 padding이 추가되어 (6, 6)이 됩니다.
• 이 Input data에 (3, 3) 크기의 filter를 걸면 (4,4)크기의 출력 데이터가 생성됩니다.
• 중요한건 'Padding'은 주로 출력 크기를 조정할 목적으로 사용한다는 점입니다.

---

Stride (스트라이드)

filter를 적용하는 위치의 간격을 Stride라고 합니다. 지금까지 본 예제는 Stride가 1이였지만, Stride를 2로 하면 filter를 적용하는 Window가 모두 2칸씩 이동합니다.

Stride가 2인 Convolution(합성곱) 연산

• 위의 예시에서 Stride가 (7,7)인 Input Data에 Stride를 2로 사용한 filter를 적용합니다.
• 이처럼 Stride는 filter를 적용하는 간격을 지정합니다.
• 스트라이드를 키우면 출력 크기는 작아지고, 패딩을 크게 하면 출력 크기가 커진다는 특징이 있습니다.
• 그러면 Padding, Stride, Output 크기를 어떻게 계산하는지 살펴보겠습니다.
• 입력 크기를 (H, W), 필터 크기를 (FH, FW), 출력 크기를 (OH, OW), 패딩을 P, 스트라이드를 S라고 하면 출력 크기는 아래의 식으로 계산됩니다.
• 단, 이 두 식은 모두 정수로 나눠떨어지는 값이어야 한다는 특징이 있습니다.

OW=(W+2P+FW)/S +1
OH=(H+2P+FH)/S +1

---

3-Dimension Data(3차원 데이터)의 Convolution(합성곱) 연산

2차원일때의 Convolution(합성곱) 연산과는 다른 점은, 길이(Channel) 방향으로 Feature map (특정 맵)이 늘어났습니다.

• 채널쪽으로 특징 맵이 여러개 있으면 입력 데이터와 filter로 Convolution 연산을 Channel별로 수행하고, 그 결과를 더해서 하나의 출력을 얻습니다.
• 주의해야 할점은 3차원 합성곱 연산에서 주의할 점은 입력 데이터의 채널 수와 필터의 채널 수가 같아야 한다는 것입니다.

---

Block으로 생각하기

3-Dimension의 Convolution 연산은 Data & filter를 직육면체 블록이라고 생각하면 쉽습니다.

• 3-Dimension(3차원) 데이터를 나타낼 때는 (Channel-채널, Height-높이, Width-너비) 순서로 나타냅니다.
• 예를 들어서 채널수 C, 높이 H, 너비 W인 데이터의 형상 -> (C,H,W), 필터의 형상 -> (C,FH,FW) 이런 형식으로 씁니다.
• 채널수 C, 필터 높이 FW, 필터 너비 FW의 경우 (C, FH, FW)로 씁니다.

입력 데이터 * 필터 → 출력 데이터 (1,OH,OW)

• 위의 그림과 같이 filter를 FN개 적용시키면 출력맵도 FN개가 생성됩니다.
• 그리고 이 형상을 모으면 (FN, OH, OW)인 블록이 완성됩니다.
• 이 완성된 블록을 다음 Layer로 넘기겠다는 것이 CNN의 처리 흐름입니다.

Convoultion 연산의 처리 흐름 (bias 추가)

• 출력으로 다수의 Channel을 내보내려면 filter를 여러 개(FN개) 사용하면 됩니다.
• 그러면 filter의 Weight(가중치) 데이터는 4차원이 됩니다. 또한 Bias(편향)은 채널 하나에 값 하나씩으로 (FN, 1, 1) 이렇게 구성됩니다.
• 그리고 filter의 출력 결과의 형상은 (FN, OH, OW)가 됩니다.

---

Batch 처리

Convolution 연산에서 각 계층을 흐르는 데이터의 차원을 하나 늘려 4차원 데이터로 저장하여 Batch 처리를 지원합니다.

• 데이터를 (데이터 수, 채널 수, 높이, 너비) 순으로 저장합니다.
• 그리고 데이터가 N개일 때 배치 처리하면 데이터 형태가 아래의 형태처럼 됩니다.

Convoultion 연산에서의 처리 흐름 (Batch 처리)

• batch 처리시 데이터 흐름을 나타낸 그림을 보면, 각 데이터의 선두에 배치용 차원을 추가 했습니다.
• 이처럼 데이터는 4차원 형상을 가진 채 각 Layer를 타고 흐릅니다.
• 주의해야 할점은 Neural Network(신경망)에 4차원 데이터가 하나 흐를때 마다, 데이터 N개에 대한 Convoultion 연산이 이루어 진다는 점입니다. 즉 N회 분의 처리를 한번에 수행하는 것입니다.

---

Pooling Layer - 풀링 계층

Pooling은 세로 * 가로 방향의 공간을 줄이는 연산입니다. 

• 아래의 그림과 같이 2 x 2 영역을 원소 하나로 집약하여 공간의 크기를 줄입니다.

Max Pooling의 처리 순서

• 위의 그림은 2 x 2 Max Pooling을 Stride 2로 처리하는 순서입니다.
• Max Pooling은 최대값(max값)을 구하는 연산으로, '2 x 2'는 대상 영역의 크기를 뜻합니다.
• 즉, 2 x 2 의 Max Pooling은 2 x 2 크기의 영역에서 가장 큰 원소 하나를 꺼냅니다.
• 참고로 Pooling의 Window 크기 & Stride는 같은 값으로 설정하는것이 보통입니다.

---

Pooling Layer의 특징

Polling Layer의 특징은 무엇일까요?

• 학습해야할 매개 변수가 없습니다.
  • Pooling Layer는 Convoultion Layer(합성곱 계층)과 달리 Training(학습)해야 할 Parameter가 없습니다.
  • Pooling은 대상 영역에서 최대값 or 평균을 취하는 처리이므로 딱히 학습해야 할 것이 없습니다.
• Channel 수가 변하지 않습니다.
  • Pooling 연산은 Input data의 Channel 수 그대로 Output Data로 내보냅니다.
  • Channel마다 독립적으로 계산하기 떄문입니다.

Pooling은 Channel수를 봐꾸지 않는다.

• 입력의 변화에 영향을 적게 받습니다. (강건하다)
  • 입력 데이터가 조금 변해도 Pooling의 결과는 잘 변하지 않습니다.
  • 예를 들어서 입력데이터의 차이가 있어도 Pooling이 흡수해 사라지게 하는 모습을 보여줍니다.

입력 데이터가 가로로 1원소 만큼 어긋나도 출력은 같다. (단, 데이터에 따라 다를수도 있다.)