[CV] Keras 기반 YOLO Open Source Package & Object Detection

정신이 없어서 이어서 쓰는걸 까먹었네요.. 열심히 써보겠습니다 ㅠ

Keras YOLO Open source Package 특징

더 쉬운 환경 설정

• Keras 기반의 YOLO 패키지는 Darknet YOLO 프레임워크에 비해 환경 설정이 더 간단합니다. Keras는 Python을 기반으로 한 딥러닝 워크플로우와 잘 통합되며, 더 사용자 친화적인 인터페이스를 제공하여 다양한 사용자가 접근하기 쉽습니다.

Keras의 Callbacks, TensorBoard, Preprocessing 기능 활용

• Keras는 Callbacks 기능을 제공하여 학습 과정 중에 동적으로 모니터링하고 조정할 수 있습니다. 예를 들어, 조기 종료(early stopping)나 학습 속도 스케줄링(learning rate scheduling) 등을 설정할 수 있습니다.
• 또한 TensorBoard와의 통합을 통해 학습 중인 모델의 성능을 실시간으로 시각화할 수 있습니다.
• Keras는 강력한 내장 Preprocessing 도구를 제공하여 YOLO 모델을 위한 데이터 준비 과정을 더욱 쉽게 만들어 줍니다.

더 읽기 쉬운 소스코드와 손쉬운 커스터마이징

• Keras YOLO 패키지는 코드가 더 읽기 쉽고 모듈화되어 있어, 사용자가 이해하고 수정하기 쉽습니다. 이를 통해 특정 응용 프로그램에 맞게 모델을 조정하거나 새로운 기능을 실험하려는 개발자에게 유리합니다.

Darknet YOLO (C/C++ 구현) 대비 처리 속도 느림

• Keras는 YOLO를 더 접근하기 쉽고 사용하기 편리하게 만들지만, 처리 속도는 일반적으로 원래의 C/C++로 구현된 Darknet YOLO에 비해 느립니다. 이는 Keras가 제공하는 높은 수준의 추상화로 인한 성능 저하 때문입니다.

---

Keras YOLO Open Source Package 소개

qqwweee keras-yolo3

GitHub - qqwweee/keras-yolo3: A Keras implementation of YOLOv3 (Tensorflow backend)

• 학습 및 추론(Inference)은 가능하지만 평가(Evaluation)를 지원하지 않음.
• VOC, COCO 같은 데이터셋을 CSV 형식으로 변환하여 입력할 수 있는 기능을 지원하며, CSV 형식의 데이터 입력을 받습니다.

Experiencor keras-yolo3

GitHub - experiencor/keras-yolo3: Training and Detecting Objects with YOLO3

• 학습, 추론뿐만 아니라 평가(Evaluation)도 가능.
• 입력 데이터는 XML 형식만 지원하며, CSV나 JSON 데이터를 입력하려면 XML 포맷으로 변환해야 합니다.
• 두 구현체의 주요 차이점은 평가 기능 지원 여부와 데이터 입력 형식입니다. Experiencor는 평가 기능을 지원하며 XML 형식을 사용해야 하는 반면, qqwweee는 평가 기능이 없고 CSV 형식을 기본으로 지원합니다.

---

qqwweee/kears-yolo3 패키지 구성

model_data 폴더

• YOLO 모델의 클래스와 anchor box 위치 설정 파일들을 포함하고 있습니다.
• 예를 들어, coco_classes.txt, tiny_yolo_anchors.txt, voc_classes.txt, yolo_anchors.txt 파일들이 존재하며, 각각 COCO와 VOC 데이터셋의 클래스 및 YOLO 앵커 박스 관련 설정들을 포함하고 있습니다.

yolo3 폴더

• 주요 Backend API들이 있는 폴더입니다.
• 이 폴더에는 __init__.py, model.py, utils.py 파일이 포함되어 있으며, YOLO 모델의 주요 백엔드 로직과 유틸리티 함수들이 정의되어 있습니다.

train.py: YOLO 모델을 학습시키기 위한 주요 API를 포함하고 있습니다. 이 스크립트를 통해 모델 학습을 진행할 수 있습니다.

yolo.py: YOLO 모델을 로딩하고 객체 탐지(Detection)를 수행하는 클래스와 관련된 파일입니다.

---

keras-yolo3 패키지를 이용하여 Yolo &  tiny Yolo 기반으로 이미지와 영상 Object Detection

• 다크넷에서 Pretrained된 yolo/tiny-yolo weights 모델을 다운로드합니다.
• 다운로드한 다크넷 weight 파일을 기반으로 keras-yolo3에서 사용할 수 있는 weight 파일로 변환 후 이를 이용하여 Object Detection을 수행해 보겠습니다.
• 단, 옛날 버전이여서 스터디한 내용만 정리해서 올리는거기 때문에 현재 실행이 안될수도 있습니다. 단순히 참고용으로만 봐주세요!

본코드는 GPU를 활용하므로 Colab 상단 메뉴에서 런타임 유형 변경에서 GPU를 선택해야 합니다.

# 현재 디렉토리는 /content이며 이 디렉토리를 기준으로 실습코드와 데이터를 다운로드 합니다. 
!pwd
!rm -rf DLCV
!git clone https://github.com/chulminkw/DLCV.git
# DLCV 디렉토리가 Download되고 DLCV 밑에 Detection과 Segmentation 디렉토리가 있는 것을 확인
!ls -lia 
!ls -lia DLCV

# tensorflow 1.15을 설치합니다. 자동으로 tensorflow 2.2가 1.15로 downgrade 됩니다. 
!pip install tensorflow-gpu==1.15.2 
# keras 2.3를 설치합니다. 
!pip install keras==2.3.0

# GPU가 세팅되어 있지 않으면 상단 메뉴에서 런타임->런타임 유형 변경에서 GPU를 선택한 후 런타임 다시 시작을 선택하고 처음 부터인 tensorflow, keras 설치 부터 다시 시작. 
import tensorflow as tf
import keras

print(tf.__version__)
print(keras.__version__)

# gpu가 세팅드어 있는지 확인. 
tf.test.gpu_device_name()

import os
import sys
import random
import math
import time
import numpy as np
import tensorflow as tf
import matplotlib
import matplotlib.pyplot as plt

%cd /content/DLCV/Detection/yolo
!git clone https://github.com/qqwweee/keras-yolo3.git
!ls -lia /content/DLCV/Detection/yolo/keras-yolo3

Local Directory 상에서 yolo package를 import.

• keras-yolo3는 setup을 제공하지 않으므로 local directory상에서 바로 package를 import합니다.
• 이를 위해 keras-yolo3를 system path에 추가합니다.
• keras-yolo3 디렉토리에 있는 yolo.py에서 YOLO class를 import하여 사용합니다.

from keras.layers import LeakyReLU, BatchNormalization

default_dir = '/content/DLCV'
default_yolo_dir = os.path.join(default_dir, 'Detection/yolo')

LOCAL_PACKAGE_DIR = os.path.abspath(os.path.join(default_yolo_dir,'keras-yolo3'))
print(LOCAL_PACKAGE_DIR)
sys.path.append(LOCAL_PACKAGE_DIR)

from yolo import YOLO

# YOLO 클래스는 model_path, achors_path, classes_path를 model_data 밑에 파일로 가짐. 변경을 위해서는 yolo.py 파일에서 YOLO 클래스코드를  직접 변경 필요. 

print(LOCAL_PACKAGE_DIR)
!ls /home/chulmin.kwon45/DLCV/Detection/yolo/keras-yolo3
!cat /home/chulmin.kwon45/DLCV/Detection/yolo/keras-yolo3/yolo.py

YOLO 객체를 사용하기 위한 모델 파일 설정 및 소스 코드 변경

• 다크넷에서 Yolo V3 Weight 모델 파일을 다운로드 받은 뒤 이를 keras-yolo3용으로 모델 파일으로 변경합니다.
• model_data 디렉토리 밑에 yolo_anchors.txt, coco_classes.txt 가 있는지 확인해야합니다.

!ls /content/DLCV/Detection/yolo/keras-yolo3

# 코랩 버전은 아래를 이용하여 yolov3.weights 파일을 download 받고, convert.py 를 수행하여 model_data 밑에 yolo.h5 파일 생성 수행. 
%cd /content/DLCV/Detection/yolo/keras-yolo3 
!wget https://github.com/chulminkw/DLCV/releases/download/1.0/yolov3.weights

# yolov3.weights를 keras-yolo3에서 사용할 수 있도록 yolo.h5 로 변환
!python convert.py yolov3.cfg yolov3.weights model_data/yolo.h5
# model_data 밑에 yolo.h5 파일이 생성되었는지 확인. 
!ls /content/DLCV/Detection/yolo/keras-yolo3/model_data

import sys
import argparse
from yolo import YOLO, detect_video
#keras-yolo에서 image처리를 주요 PIL로 수행. 
from PIL import Image

# YOLO 객체 생성. config는 default로 keras-yolo3 디렉토리에 있는 yolov3.cfg를 적용. 
# 코랩 버전은 절대 경로로 각 생성 인자값 입력
default_yolo_dir = '/content/DLCV/Detection/yolo'
config_dict = {}
yolo = YOLO(model_path=os.path.join(default_yolo_dir, 'keras-yolo3/model_data/yolo.h5'),
            anchors_path=os.path.join(default_yolo_dir, 'keras-yolo3/model_data/yolo_anchors.txt'),
            classes_path=os.path.join(default_yolo_dir, 'keras-yolo3/model_data/coco_classes.txt'))

---

단일 Image Object Detection

# 원본 이미지 보기 
default_dir = '/content/DLCV'
img = Image.open(os.path.join(default_dir, 'data/image/beatles01.jpg'))

plt.figure(figsize=(12, 12))
plt.imshow(img)

# yolo.detect_image() 메소드는 PIL package를 이용하여 image 작업 수행. keras-yolo3/font 디렉토리를 상위 디렉토리로 복사 해야함.  
%cd /content/DLCV/Detection/yolo
!cp -rf keras-yolo3/font ./font

img = Image.open(os.path.join(default_dir, 'data/image/beatles01.jpg'))
detected_img = yolo.detect_image(img)

plt.figure(figsize=(12, 12))
plt.imshow(detected_img)

---

Video Object Detection 수행

YOLO V3 Model 이 있는 github에서 detect_video.py용 code를 제공합니다.

GitHub - qqwweee/keras-yolo3: A Keras implementation of YOLOv3 (Tensorflow backend)

import cv2
import time

def detect_video_yolo(model, input_path, output_path=""):
    
    start = time.time()
    cap = cv2.VideoCapture(input_path)
    
    #codec = cv2.VideoWriter_fourcc(*'DIVX')
    codec = cv2.VideoWriter_fourcc(*'XVID')
    vid_fps = cap.get(cv2.CAP_PROP_FPS)
    vid_size = (int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)),int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)))
    vid_writer = cv2.VideoWriter(output_path, codec, vid_fps, vid_size)
    
    frame_cnt = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
    print('총 Frame 갯수:', frame_cnt, '원본 영상 FPS:',vid_fps)
    index = 0
    while True:
        hasFrame, image_frame = cap.read()
        if not hasFrame:
            print('프레임이 없거나 종료 되었습니다.')
            break
        start = time.time()
        # PIL Package를 내부에서 사용하므로 cv2에서 읽은 image_frame array를 다시 PIL의 Image형태로 변환해야 함.  
        image = Image.fromarray(image_frame)
        # 아래는 인자로 입력된 yolo객체의 detect_image()로 변환한다.
        detected_image = model.detect_image(image)
        # cv2의 video writer로 출력하기 위해 다시 PIL의 Image형태를 array형태로 변환 
        result = np.asarray(detected_image)
        index +=1
        print('#### frame:{0} 이미지 처리시간:{1}'.format(index, round(time.time()-start,3)))
        
        vid_writer.write(result)
    
    vid_writer.release()
    cap.release()
    print('### Video Detect 총 수행시간:', round(time.time()-start, 5))

default_dir = '/content/DLCV'
detect_video_yolo(yolo, os.path.join(default_dir, 'data/video/Night_Day_Chase.mp4'),
                  os.path.join(default_dir, 'data/output/Night_Day_Chase_yolo_01.avi'))

## colab 버전은 Object Detection 적용된 영상 파일을 google drive에서 download 해야 합니다. 이를 위해 google drive를 colab에 mount 수행. 
import os, sys 
from google.colab import drive 

drive.mount('/content/gdrive')

## colab 버전은 Object Detection 적용된 영상 파일을 google drive에서 download 해야 합니다. 
## My Drive 디렉토리 이름에 공란이 있으므로 ' '로 묶습니다. 
!cp /content/DLCV/data/output/Night_Day_Chase_yolo_01.avi '/content/gdrive/My Drive/Night_Day_Chase_yolo_01.avi'

• 결과 화면 (화면 캡처)
  • SSD 보단 정확도가 올라가는걸 볼 수 있습니다.

---

Tiny YOLO를 이용하여 Image & Video Object Detection

• tiny yolo weights파일은 https://pjreddie.com/media/files/yolov3-tiny.weights 에서 다운로드 받을 수 있습니다.
• 다운로드 받은 tiny-yolo weight파일을 keras-yolo3에서 사용할 수 있게 Convert 수행 후 YOLO객체에서 로딩하여 사용합니다.

# wget https://pjreddie.com/media/files/yolov3-tiny.weights
#!python convert.py yolov3-tiny.cfg ./model_data/yolov3-tiny.weights model_data/yolo-tiny.h5

# yolov3-tiny.weights 파일을 download 받고, convert.py 를 수행하여 model_data 밑에 yolo-tiny.h5 파일 생성. 
%cd /content/DLCV/Detection/yolo/keras-yolo3 
!wget https://pjreddie.com/media/files/yolov3-tiny.weights
!python convert.py yolov3-tiny.cfg yolov3-tiny.weights model_data/yolo-tiny.h5
# model_data 밑에 yolo-tiny.h5 파일이 생성되었는지 확인. 
!ls /content/DLCV/Detection/yolo/keras-yolo3/model_data

tiny yolo weight 파일과 anchor 파일, coco 클래스 파일을 YOLO 객체 생성 시 인자로 입력

default_yolo_dir = '/content/DLCV/Detection/yolo'
config_dict = {}

tiny_yolo = YOLO(model_path=os.path.join(default_yolo_dir,'keras-yolo3/model_data/yolo-tiny.h5'),
            anchors_path=os.path.join(default_yolo_dir,'keras-yolo3/model_data/tiny_yolo_anchors.txt'),
            classes_path=os.path.join(default_yolo_dir,'keras-yolo3/model_data/coco_classes.txt'))

Single Image Object Detection

default_dir = '/content/DLCV'
img = Image.open(os.path.join(default_dir, 'data/image/beatles01.jpg'))
detected_img = tiny_yolo.detect_image(img)

plt.figure(figsize=(12, 12))
plt.imshow(detected_img)

Video Object Detection

default_dir = '/content/DLCV'
detect_video_yolo(tiny_yolo, os.path.join(default_dir, 'data/video/Night_Day_Chase.mp4'), os.path.join(default_dir, 'data/output/Night_Day_Chase_tiny_yolo01.avi'))

## colab 버전은 Object Detection 적용된 영상 파일을 google drive에서 download 해야함. 이를 위해 google drive를 colab에 mount 수행. 
import os, sys 
from google.colab import drive 

drive.mount('/content/gdrive')

## colab 버전은 Object Detection 적용된 영상 파일을 google drive에서 download 해야 합니다. 
## My Drive 디렉토리 이름에 공란이 있으므로 ' '로 묶습니다. 
!cp /content/DLCV/data/output/Night_Day_Chase_tiny_yolo01.avi '/content/gdrive/My Drive/Night_Day_Chase_tiny_yolo01.avi'