[CV] Object Detection & Segmentation을 위한 패키지 & CUDA 소개

Object Detection & Segmentation을 위한 다양한 패키지들

Object Detection & Segmentation을 위한 다양한 패키지들이 있습니다.

• Keras와 Tensorflow 기반의 다양한 오픈소스 패키지들
  • 쉬운 활용과 Customization 가능한 장점이 있습니다.
  • 다만 Object Detection 알고리즘 별로 서로 다른 패키지들을 적용해야 하는 단점이 있습니다.
• OpenCV 의 DNN(Deep Neural Network) 모듈
  • 간편하게 Object Detection Inference가 가능합니다.
  • 다만 학습이 불가능하며 주로 CPU 위주로 GPU 활용이 어렵다는 점이 있습니다.
• Tensorflow Object Detection API
  • 가장 많은 Detection 알고리즘에 적용이 가능합니다.
  • 다만, 다루기가 어렵고 특히 학습을 위한 절차가 너무 복잡합니다.

 

 

Keras와 Tensorflow 기반에 다양한 오픈소스 패키지들

크게, YOLO, Retinanet, Mask R-CNN 3개에 데하여 알아보겠습니다.

YOLO

• 개인 개발자가 만든 패키지. 심플하면서도 좋은 성능을 보유하고 있습니다.
• Tensorflow 1.13, Keras 2.2 버전이 필요합니다.
• Git소스: https://github.com/qqwweee/keras-yolo3

GitHub - qqwweee/keras-yolo3: A Keras implementation of YOLOv3 (Tensorflow backend)

 

Retinanet

• 정교한 검출 성능으로 많은 사용자에게 각광 받고 있습니다.
• Tensorflow 1.15, Keras 2.3 버전이 필요합니다.
• Git소스: https://github.com/fizyr/keras-retinanet

GitHub - fizyr/keras-retinanet: Keras implementation of RetinaNet object detection.

 

 

Mask R-CNN

• Segmentation에서 매우 많이 활용되고 있습니다. 다양한 기능과 편리한 사용성으로 여러 프로젝트에 적용됩니다.
• Tensorflow 1.13, Keras 2.2 버전이 필요합니다.
• Git소스: https://github.com/matterport/Mask_RCNN

GitHub - matterport/Mask_RCNN: Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow

 

 

OpenCV의 Deep Learning 지원 - DNN Package

OpenCV는 Computer Vision 처리를 위해 널리 사용되는 범용 Library 입니다.
오픈 소스 기반의 실시간 이미지 프로세싱에 중점을 둔 라이브러리이며 C/C++ 기반의 Library이지만 Python, Java등과의 Interface도 제공합니다.

• Image Classification, Object Detection, Segmentation 등의 분야에 Machine learning 기능을 포팅하기 시작했습니다.
• Deep Learning 기반의 Computer Vision 역시 별도 DNN 모듈로 구현되어 OpenCV에 포팅됩니다.
• DNN 모듈은 OpenCV 3.1에서는 추가 모듈 형태로 지원되었고, OpenCV 3.3 버전부터 기본 모듈에 포함됩니다.

• 별도의 Deep Learning 프레임 워크가 필요하지 않으며 타 프레임 워크의 모델을 그대로 로드하여 Inference가 가능합니다.
• 그러나 모델 학습이 불가능하며, GPU 활용이 어렵습니다. 주로 CPU 위주로 활용합니다.

 

Tensorflow Object Detection API 지원 모델

타 오픈 소스 패키지 대비 가장 많은 Object Detection 알고리즘을 지원합니다.

• MS-COCO 뿐만 아니라 Open-Image기반의 Pretrained 모델도 지원합니다.
• Faster RCNN, SSD, FRCN, MASK-RCNN 지원. Backbone도 Mobilenet, Inception, Resnet 등 다양하게 지원합니다.
• 2020년 2월 기준, YOLO Model에 대한 지원은 하지 않습니다. 그리고 Retinanet에 대한 지원도 약합니다.

 

 

Tensorflow Object Detection의 문제점

• Tensorflow Object Detection에서는 이러한 문제점들이 있습니다.
  • 불필요하게 학습 과정이 복잡합니다.
  • Tensorflow Vesion 2와 Version 1이 서로 충돌 할 수도 있습니다.
  • 많은 API가 사용되지만 Document나 Tutorial이 부족 하다는 특징이 있습니다.
  • Research 형태의 모듈로 안정화가 되었는지에 대한 의문점도 존재합니다.

 

---

CUDA

CUDA는 무엇일까요?
CUDA(Compute Unified Device Architecture)는 NVIDIA에서 개발한 병렬 컴퓨팅 플랫폼이자 프로그래밍 모델입니다.
주로 NVIDIA의 GPU(Graphics Processing Unit)를 활용하여 연산 작업을 수행할 수 있게 해줍니다.

• 그리고 그래픽 처리 장치(GPU)에서 수행하는 (병렬 처리) 알고리즘을 C 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성할 수 있도록 하는 기술입니다.
• CUDA는 고성능 컴퓨팅, 딥 러닝, 과학 계산 등 다양한 분야에서 사용됩니다.
• 또한 CUDA는 이러한 특징이 있습니다.

1. GPU 가속: CUDA는 GPU의 병렬 처리 능력을 활용하여 CPU보다 훨씬 빠른 연산을 가능하게 합니다. 이는 특히 대규모 데이터 처리와 복잡한 계산 작업에 유리합니다.
2. 스레드 병렬성: CUDA는 수천 개의 스레드를 병렬로 실행할 수 있습니다. 이를 통해 계산 작업을 매우 세밀하게 분할하고 병렬 처리할 수 있습니다.
3. 메모리 계층 구조: CUDA는 다양한 메모리 계층을 제공합니다. 글로벌 메모리, 공유 메모리, 레지스터 등을 활용하여 효율적인 메모리 접근과 관리를 할 수 있습니다.
4. 커널 함수: CUDA 프로그램은 커널 함수를 통해 병렬 작업을 수행합니다. 커널 함수는 GPU에서 실행되며, 많은 스레드가 동시에 동일한 커널 함수를 실행합니다.

 

CUDA Interface

한번 CUDA의 Interface에 데히여 설명해 보겠습니다.

CUDA

• 중앙에 위치한 CUDA는 병렬 컴퓨팅 플랫폼이자 프로그래밍 모델입니다.
• CUDA는 GPU의 병렬 처리 능력을 활용하여 연산 작업을 수행할 수 있도록 해줍니다.

프로그래밍 언어

• C/C++: 왼쪽에 위치한 C/C++은 CUDA 프로그래밍에서 주로 사용되는 언어입니다. C/C++ 기반으로 커널 함수를 작성하고, 이를 GPU에서 실행합니다.
• Python: 오른쪽에 위치한 Python은 CUDA를 사용할 수 있도록 도와주는 여러 라이브러리(PyCUDA, Numba 등)를 통해 GPU 프로그래밍을 지원합니다.

Toolkit

• CUDA 툴킷은 개발, 라이브러리 및 다양한 개발 도구를 포함합니다.
• Development: CUDA 개발을 위한 컴파일러, 디버거, 프로파일러 등을 제공합니다.
• Libraries: cuBLAS, cuFFT, cuDNN 등 다양한 수학, 과학, 딥러닝 라이브러리를 포함합니다.

Runtime

• CUDA 런타임은 GPU 자원 관리, 커널 실행, 데이터 전송 등을 포함한 런타임 환경을 제공합니다.
• CUDA Driver: CUDA 드라이버는 하드웨어와 소프트웨어 간의 인터페이스 역할을 합니다. GPU 자원 관리, 커널 실행 등을 처리합니다.

 

cuDNN 소개

• cuDNN 은 CUDA의 DL Library. Deep-Neural Network를 구성하고 학습시킬 수 있는 기능으로 구성되어 있습니다.
• Convolution, Pooling, Softmax, ReLU, Sigmoid, TANH, Batch Normalization(배치 정규화) 기능 등이 포함되어 있습니다.

 

 

CUDA/CudNN 기반의 Deep Learning Framework

CUDA와 cuDNN을 기반으로 하는 딥 러닝 프레임워크의 소프트웨어 스택을 시각적으로 표현했습니다.

• Deep Learning Framework(예: TensorFlow)가 GPU의 병렬 처리 능력을 최대한 활용할 수 있다는걸 시각적으로 보여줍니다.
• 각 레이어는 특정 소프트웨어 구성 요소를 나타내며, 이들이 어떻게 상호작용하는지를 보여줍니다.
• CUDA 9.0은 GPU의 연산 능력을 활용할 수 있게 해주는 기본적인 플랫폼입니다. 이를 통해 고성능 병렬 처리를 수행할 수 있습니다.
• cuDNN은 딥 러닝 연산에 최적화된 라이브러리로, TensorFlow와 같은 프레임워크가 GPU의 성능을 최대한 활용할 수 있도록 도와줍니다.
• TensorFlow는 이러한 하드웨어 및 라이브러리의 성능을 활용하여 딥 러닝 모델을 구축하고 학습시킵니다.
• Virtualenv는 Python 환경을 독립적으로 관리하여 각 프로젝트가 고유한 의존성을 갖도록 합니다. 이를 통해 다양한 프로젝트를 동일한 시스템에서 충돌 없이 운영할 수 있습니다.