[CV] Object Detection Model Training시 유의사항

Object Detection Model Traning시 유의해야할 사항들에 데하여 한번 알아보겠습니다.

---

대량의 이미지 학습시 Memory 문제

대량의 이미지 학습 시, 이미지를 네트워크에 입력하기 위해 배치로 변환되며, 이로 인해 메모리 사용량이 증가합니다.

반복적인 학습 과정에서 메모리 사용량은 더 커지게 되고, 이로 인해 메모리 관련 문제가 발생할 수 있습니다.

 

즉, 이미지의 개수가 메모리 사용량의 대부분을 좌우하게 됩니다.

---

Keras fit_generator()를 이용한 학습

Keras의 fit_generator()를 이용한 학습을 할때, 만약 데이터가 너무 크면 Memory에 모두 올리지 않고, Batch 단위로 Data Generator(데이터 생성기)를 통해 데이터를 공급하며 학습을 진행하는 방식입니다.

 

이미지를 한번에 모두 학습하지 않고, Batch 크기 단위로 나누어 처리함으로써 메모리 사용을 효율적으로 관리할수 있습니다.

Steps_per_Epoch은 한 Epoch에서 몇번의 Batch 처리가 이루어지는지를 나타내며,
이 값은 총 데이터 수를 Batch_szie로 나눈 값입니다.

 

결론은 Batch size가 메모리 사용량의 많은 부분을 좌우합니다.

---

Python Generator

Generator 함수는 일반 함수와는 다르게 함수 내 로직을 수행 후 값을 반환하고 종료하는것이 아니라 yield로 값을 순차적으로 반환하면서 메모리를 절약할 수 있게 만드는것이 특징입니다.

---

Keras의 fit_generator()를 사용하기 위한 Data Generator

from keras.preprocessing.image import ImageDataGenerator
train_datagen= ImageDataGenerator(rescale=1./255)
train_generator= train_datagen.flow_from_directory( ‘학습용 이미지 디렉토리', target_size=(240, 240), batch_size=10, class_mode='categorical')
valid_datagen= ImageDataGenerator(rescale=1./255)
valid_generator = valid_datagen.flow_from_directory( ‘검증용 이미지 디렉토리', target_size=(240, 240), batch_size=10, class_mode='categorical')

Keras fit_generator() 적용 예시

model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=(240,240,3)))
………
model.add(Dense(3, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit_generator( train_generator, steps_per_epoch=100, epochs=10, validation_data=valid_generator, validation_steps=2)

---

Object Detection Model에서 CPU와 GPU의 역할

CPU 역할

• 데이터 전처리: CPU는 주로 데이터를 준비하는 역할을 담당합니다. 이 과정에서는 이미지를 배치(batch)로 나누고, 각 배치를 배열로 변환하여 모델에 적합한 입력 형식으로 만듭니다.
• Batch 처리: 학습에 사용할 데이터가 많을 경우, CPU는 데이터를 일정한 크기의 배치로 나누어 한 번에 처리할 수 있도록 준비합니다.
• Steps per Epoch: 한 Epoch(전체 데이터셋을 한 번 학습하는 과정)에서 CPU가 처리해야 할 총 배치의 수를 나타냅니다. 예를 들어, 1000장의 이미지를 Batch size 10으로 나누면 100회 반복하여 데이터를 처리하게 됩니다.
• CPU는 모델의 연산보다는 데이터를 준비하고 전달하는 역할을 더 많이 수행합니다.

GPU 역할

• CNN Network: GPU는 Convolutional Neural Network(CNN)와 같은 복잡한 신경망 연산을 빠르게 처리합니다.
• 병렬 연산: GPU는 병렬 처리가 가능하기 때문에, 한 번에 많은 양의 데이터를 빠르게 처리할 수 있습니다. CNN 네트워크는 이미지에서 특징을 추출하고, 객체를 탐지하는 연산이 주로 이루어지는데, 이 연산을 GPU가 담당하게 됩니다.
• 학습 및 추론 속도 향상: GPU는 대규모 행렬 연산과 같은 수치 계산을 빠르게 수행할 수 있으므로, 학습 및 추론 속도를 크게 향상시킵니다. Object Detection과 같은 모델에서 CNN의 계산은 대부분 GPU에서 이루어집니다.

CPU와 GPU가 협력하여 대량의 이미지를 빠르고 효율적으로 처리하게 되며,
이는 특히 Object Detection과 같은 연산 집약적인 작업에서 중요한 역할을 합니다.

---

Object Detection Model에서 Batch size 설정

Object Detection 모델에서 Batch size 설정은 학습 속도와 GPU 메모리 사용량 사이에서 균형을 맞추는 중요한 작업입니다.
Batch size를 설정할 때는 성능과 메모리 효율 및 아래의 사항들을 고려해야 합니다.

Batch size가 크다고 무조건 수행 속도가 향상되지 않음

• Batch size가 커지면 한 번에 더 많은 데이터를 처리하게 되어 학습 속도가 빨라질 가능성이 있지만, 항상 그렇지는 않습니다.
• 너무 큰 Batch size는 더 많은 연산을 한 번에 처리해야 하기 때문에, 오히려 학습의 안정성에 악영향을 미칠 수 있습니다.
• 큰 Batch size는 일반적으로 더 많은 메모리를 필요로 하기 때문에, 모델 크기나 메모리 제한 때문에 성능에 악영향을 줄 수 있습니다.

Batch size가 너무 크면 GPU 메모리 부족 문제를 발생시킴

• GPU 메모리는 한정되어 있기 때문에, Out of Memory (OOM) 또는 Segmentation Fault 같은 메모리 부족 문제가 발생할 수 있습니다.
• 큰 Batch size는 한 번에 더 많은 이미지 데이터를 메모리에 저장해야 하므로, 특히 고해상도 이미지나 복잡한 모델에서 GPU 메모리 용량을 초과할 수 있습니다.
• 이러한 경우에는 학습이 중단되거나, 더 이상 실행되지 않을 수 있습니다.

현재 GPU 서버 환경에서 적절한 Batch size

• CPU 4core, GPU P100과 같은 하드웨어 사양에서는 너무 큰 Batch size를 설정하면 메모리 문제를 야기할 수 있습니다.
• NVIDIA Tesla P100 GPU는 16GB 메모리를 제공하므로, 모델과 데이터의 복잡성에 따라 적절한 Batch size를 선택해야 합니다.
• 일반적으로 Batch size 4~8은 이러한 서버 환경에서 적합합니다. 이 정도의 Batch size는 GPU 메모리 사용량을 적절하게 유지하면서도, 학습 속도와 메모리 사용 사이의 균형을 맞출 수 있습니다.

적절한 Batch size를 선택하는 방법

1. 메모리 제한을 확인: GPU의 메모리 용량을 확인하고, 모델이 차지하는 메모리 용량을 기반으로 Batch size를 설정하세요.
2. 작은 Batch size로 시작: 처음에는 작은 Batch size(예: 4)로 시작하여 메모리 사용량을 모니터링하고, 점진적으로 증가시키며 적절한 값을 찾는 것이 좋습니다.
3. OOM 문제 발생 시 Batch size 감소: 만약 OOM이나 메모리 부족 오류가 발생하면 Batch size를 줄여야 합니다.
4. 모델 복잡성에 따른 조정: 모델이 복잡하거나 데이터가 고해상도일수록 더 작은 Batch size가 필요할 수 있습니다.