[CV] OpenImage Dataset의 Object Detection Inference Part.2 (with Keras-yolo)

Open Image Dataset의 Object Detection 학습 및 Inference

Open Image Dataset에서 Football 관련 Object, Fish관련 Object를 추출 후 학습 데이터 세트 생성후, 이를 이용하여 Object Detection을 수행해 보겠습니다.

데이터 다운로드 링크

GitHub - chulminkw/DLCV

Keras-yolo 패키지, OpenImage Dataset을 사용했습니다.

---

주의사항

모델의 Inference 단계 및 데이터셋 관련 코드는 Part.1 부분에 계시되어 있습니다. inference 관련해선 관련 코드를 참고해주세요!

[CV] OpenImage Dataset의 Object Detection Inference Part.1 (with Keras-yolo)

---

최종 학습된 모델을 로딩하여 Video Object Detection 수행

Image Object Detection 관련해선 상단의 Part.1 글을 참고해주세요!

Keras-yolo 패키지의 font Directory 이동

%cd /content/DLCV/Detection/yolo
!cp -rf keras-yolo3/font ./font

영상 Object Detection

import cv2
import time
import numpy as np
from PIL import Image

def detect_video_yolo(model, input_path, output_path=""):
    # 전체 수행 시간 측정을 위한 시작 시간 기록
    overall_start = time.time()
    
    # 입력 비디오 파일 열기
    cap = cv2.VideoCapture(input_path)
    
    # 비디오 코덱 설정 (XVID 사용)
    codec = cv2.VideoWriter_fourcc(*'XVID')
    
    # 입력 비디오의 FPS와 프레임 크기 가져오기
    vid_fps = cap.get(cv2.CAP_PROP_FPS)
    vid_size = (int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)), int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)))
    
    # 출력 비디오 파일 작성기 초기화
    vid_writer = cv2.VideoWriter(output_path, codec, vid_fps, vid_size)
    
    # 전체 프레임 수 가져오기
    frame_cnt = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
    print(f'총 Frame 갯수: {frame_cnt}, 원본 영상 FPS: {vid_fps}, 원본 Frame 크기: {vid_size}')
    
    index = 0
    while True:
        # 비디오에서 프레임 읽기
        hasFrame, image_frame = cap.read()
        if not hasFrame:
            print('프레임이 없거나 종료 되었습니다.')
            break
        
        # 프레임 처리 시작 시간 기록
        frame_start = time.time()
        
        # OpenCV의 이미지 배열을 PIL Image로 변환
        image = Image.fromarray(cv2.cvtColor(image_frame, cv2.COLOR_BGR2RGB))
        
        # YOLO 모델을 사용하여 객체 검출
        detected_image = model.detect_image(image)
        
        # PIL Image를 OpenCV용 이미지 배열로 변환
        result = cv2.cvtColor(np.asarray(detected_image), cv2.COLOR_RGB2BGR)
        
        index += 1
        print(f'#### frame:{index} 이미지 처리시간:{round(time.time() - frame_start, 3)}초')
        
        # 처리된 프레임을 출력 비디오에 작성
        vid_writer.write(result)
    
    # 비디오 작성기와 캡처 객체 해제
    vid_writer.release()
    cap.release()
    
    # 전체 수행 시간 출력
    print(f'### Video Detect 총 수행시간: {round(time.time() - overall_start, 5)}초')

• detect_video_yolo 함수는 입력 비디오 파일을 프레임별로 처리하여 YOLO 모델을 통해 객체를 검출하고, 결과를 새로운 비디오 파일로 저장합니다.
• 각 프레임의 처리 시간을 출력하며, 전체 수행 시간이 완료 시점에 출력됩니다. 또한 OpenCV와 PIL을 사용하여 이미지 형식을 변환하고, 비디오 입출력을 관리합니다.

detect_video_yolo(ballnfish_yolo, '/content/DLCV/data/video/NFL01.mp4', '/content/DLCV/data/output/NFL_yolo_01.avi')

colab 으로 돌리는 경우에는 Object Detection 적용된 영상 파일을 google drive에서 download 해야 합니다.
이를 위해 google drive를 colab에 mount를 수행합니다.

import os, sys 
from google.colab import drive 

drive.mount('/content/gdrive')

## My Drive 디렉토리 이름에 공란이 있으므로 ' '로 묶습니다. 
!cp /content/DLCV/data/output/NFL_yolo_01.avi '/content/gdrive/My Drive/NFL_yolo_01.avi'

• Video Object Detection 탐지 결과

detect_video_yolo(ballnfish_yolo, '/content/DLCV/data/video/FishnShark01.mp4', '/content/DLCV/data/output/FishnShark_yolo_01.avi')

## My Drive 디렉토리 이름에 공란이 있으므로 ' '로 묶습니다. 
!cp /content/DLCV/data/output/FishnShark_yolo_01.avi '/content/gdrive/My Drive/FishnShark_yolo_01.avi'

• Video Object Detection 탐지 결과.

상어를 탐지하는데 상단 왼쪽 첫번째 사진에서 상어가 잘 Detect 되지 않는 이슈가 발생하는것을 볼 수 있습니다.