[CV] OpenCV로 Object Detection 구현하기 (Part.1)

OpenCV DNN 장단점

OpenCV Deep Neural Network의 장단점에 데하여 알아보겠습니다.

• OpenCV 라이브러리는 Intel에 의하여 최초 개발 되었습니다. 장단점을 설명해보겠습니다.

OpenCV DNN 장점

• 딥러닝 개발 프레임 워크 없이 쉽게 Inference를 구현 가능 합니다.
• OpenCV에서 지원하는 다양한 Computer Vision 처리 및 API와 Deep learning을 쉽게 결합할 수 있다는 특징이 있습니다.

OpenCV DNN 단점

• GPU 지원 기능이 약합니다.
• DNN 모듈은 과거에 NVIDIA GPU 지원이 되지 않았습니다. 2019년 10월에 Google에서 NVIDIA GPU 지원 발표했지만. 아직 환경 구성/설치가 어렵습니다. 점차 개선 작업이 진행중입니다.
• OpenCV는 모델을 학습할 수 있는 방법을 제공하지 않으며 오직 Inference만 가능합니다.
• CPU 기반에서 Inference 속도가 개선되었으나, GPU(NVIDIA)가 지원되지 않아 타 Deep learning framework 대비 Inference 속도가 크게 저하된다는 특징이 있습니다.

---

기존 Deep Learning Frame과의 연동

• OpenCV는 자체적으로 딥러닝 가중치 모델을 생성하지 않고 타 Framework에서 생성된 모델을 변환하여 로딩합니다.
• DNN 패키지는 파일로 생성된 타 프레임워크 모델을 로딩할 수 있도록 readNetFromXXX(가중치 모델파일, 환경 파일) API를 제공합니다.
• Weight(가중치) 모델 파일은 타 프레임워크 모델 파일, 환경 파일은 타 프레임워크 모델 파일의 환경(Config) 파일을 DNN 패키지에서 다시 변환한 환경 파일 입니다.

---

OpenCV 지원 Tensorflow 모델

TensorFlow Object Detection API

---

OpenCV DNN을 이용한 Inference 수행 절차

OpenCV DNN을 이용한 Inference 수행 절차에 데하여 한번 알아보겠습니다.

 

1. Weight(가중치)모델 파일과 환경 설정 파일을 로드하여 Inference Network 모델을 생성합니다.

cvNet = cv2.dnn.readNetFromTensorflow('frozen_inference_graph.pb', 'graph.pbtxt')

img = cv2.imread('img.jpg')
rows, cols, channels = img.shape

 

 

2. 입력 이미지를 Preprocessing하여 Network에 입력합니다.

cvNet.setInput(cv2.dnn.blobFromImage(img, size=(300, 300), swapRB=True, crop=False))

 

3. inference Network에서 Output을 추출합니다.

networkOutput = cvNet.forward()

 

4. 추출된 Output에서 Detect 정보를 기반으로한 원본 Image 위에 Object Detection을 시각화 합니다.

for detection in networkOutput[0,0]:

그리고 Object Detected된 결과, Bounding Box 좌표, 예측 레이블들을 원본 image 위에 시각화 로직을 구현합니다.

---

OpenCV blobFromImage()

OpenCV blobFromImage()는 Image를 Preprocessing 수행하여 Network에 입력 할수 있게 제공합니다.

 

• 주요한 특징으로는 이미지 사이즈를 고정합니다.
• 이미지 값을 스케일링 합니다.
• BGR을 RGB로 변경하며, 이미지를 Cropt 할수 있는 옵션을 제공합니다.

• 또한 OpenCV는 RGB이미지를 BGR 형태로 저장하므로 원본 Image 그대로 저장하려면 cvtColor()를 이용하여 다시 RGB로 변환 하는 과정이 필요합니다.

img_bgr = cv2.imread(‘원본image’)
img_rgb = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB)

• blobFromImage( )의 swapRB=True는 cv2.imread()로 로딩된 BGR형태의 데이터를 RGB로 변환하여 Network으로 입력합니다.

img_bgr = cv2.imread(‘원본image’)
cvNet.setInput(cv2.dnn.blobFromImage(
img_bgr, size=(300, 300), swapRB=True, crop=False))

---

OpenCV Video Stream Capture를 이용한 Video Object Detection

OpenCV의 VideoCapture( ) API를 이용하여 Video Stream을 Frame by Frame별로 Capture한 Image에 Object Detection을 수행하는 방식에 데하여 알아보겠습니다.

input_video = cv2.VideoCapture(input_file_path) # Frame by Frame으로 Iteration을 진행 합니다.
while(True):
	frame 별로 Object Detection 수행

• 이 작업 흐름을 간단히 설명하면 다음과 같습니다:
• VideoCapture 초기화: cv2.VideoCapture(input_file_path) 함수는 지정된 경로(input_file_path)의 비디오 파일을 로딩하여 비디오 스트림을 초기화합니다.
  • 이 함수는 OpenCV 라이브러리의 일부로서, 비디오 파일이나 연결된 카메라에서 비디오를 캡처하는 데 사용됩니다.
• 프레임별 처리: while(True) 루프는 capture.read()와 같은 메소드를 사용하여 비디오 스트림에서 계속해서 각 프레임을 읽습니다. 여기서 capture은 VideoCapture()에 의해 생성된 인스턴스입니다.
  • 이 루프는 비디오가 끝나거나 중단 조건(도표에는 표시되지 않음)이 충족될 때까지 계속 실행됩니다.
• 각 프레임에 대한 객체 탐지: 추출된 각 프레임에 대하여 객체 탐지가 수행됩니다. 일반적으로 사전 훈련된 모델(예: YOLO, SSD, 또는 Faster R-CNN과 같은)을 사용하여 각 프레임 내의 객체를 탐지하고 식별하는 방식이 포함될 수 있습니다.
• 출력 시각화: 처리 후에는 결과(예: 감지된 객체 주변의 경계 상자, 클래스 레이블)를 프레임에 그리고 이 프레임들을 디스플레이하거나 출력으로 저장할 수 있습니다.
• 연속성: 비디오 스트림의 끝까지, 또는 특정 중단 조건이 만족될 때까지 이 프로세스가 모든 새 프레임에 대해 반복됩니다.
  • 이를 통해 비디오 데이터에 대한 실시간 또는 일괄 처리가 가능해 객체 탐지 목적으로 활용될 수 있습니다.

---

MS-COCO Dataset 오브젝트 카테고리

이렇게 보시는것 처럼 대략 80개 정도의 Object Category가 있습니다.