BPTT (Backpropagation Through Time)BPTT(Backpropagation Through Time)는 순환 신경망(RNN, Recurrent Neural Network)의 학습을 위해 사용되는 Backpropagation(역전파) 알고리즘의 확장 버전입니다.여기서의 Backpropagation(오차역전파법)은?'시간 방향으로 펼친 신경망의 오차역전파법' 이란 뜻으로 BPTT(Backpropagation Through Time)이라고 합니다.이 BPTT를 사용하면 RNN을 학습할 수 있습니다. RNN에 관한 개념은 아래의 글에 적어놓았으니 참고해 주시면 될거 같습니다. [DL] RNN (Recurrent Netural Network) - 순환신경망1. RNN 이란?RNN은 Sequ..
이번 글에서는 추론 기반 기법과 Neural Network(신경망)에 데하여 한번 알아 보겠습니다. 통계 기반 기법의 문제점단어를 Vector로 표현하는 방법은 최근에는 크게 두 부류로 나눌 수 있습니다. '통계 기반 기법'과 '추론 기반 기법' 입니다.두 방법이 단어의 의미를 얻는 방식은 서로 다르지만, 그 배경에는 모두 분포 가설이 있습니다.통계 기반 기법에서는 주변 반어의 빈도를 기초로 단어를 표현 했습니다.구체적으로는 단어의 Co-Occurance Matrix(동시 발생 행렬)을 만들고 그 행렬에 특잇값분해(Singular Value Decomposition, SVD)를 적용하여 밀집벡터를 얻습니다.그러나, 이 방식은 대규모 Corpus(말뭉치)를 다룰 때 문제가 발생합니다. 일단, 통계 기반 기..
이번 글에서는 Object Detection Network 구조 개요, FPS, Resolution과 성능 상관 관계, R-CNN 에 데하여 알아 보겠습니다. Object Detection Network 개요Object Detetction Network 구조는 두 부분으로 나눌 수 있습니다:특징 추출 네트워크(Feature Extractor Network)와 객체 탐지 네트워크(Object Detection Network)입니다.두 네트워크는 일반적으로 사전 학습된 모델을 사용하여 특정 작업에 맞게 미세 조정됩니다. Feature Extractor Network (특징 추출 네트워크)입력 이미지에서 유용한 특징을 추출합니다.VGG, ResNet, Inception 등과 같은 모델을 사용하며, 보통 Ima..
Object Detection & Segmentation을 위한 다양한 패키지들Object Detection & Segmentation을 위한 다양한 패키지들이 있습니다.Keras와 Tensorflow 기반의 다양한 오픈소스 패키지들쉬운 활용과 Customization 가능한 장점이 있습니다.다만 Object Detection 알고리즘 별로 서로 다른 패키지들을 적용해야 하는 단점이 있습니다.OpenCV 의 DNN(Deep Neural Network) 모듈간편하게 Object Detection Inference가 가능합니다.다만 학습이 불가능하며 주로 CPU 위주로 GPU 활용이 어렵다는 점이 있습니다.Tensorflow Object Detection API가장 많은 Detection 알고리즘에 적용이 ..
Transfer Learning, 즉 전이 학습은 ML(머신 러닝)과 DL(딥러닝)에서 기존의 Pre-Training 된 모델을 새로운 작업에 재사용하는 기법입니다. 이 방법은 특히 대규모 데이터셋에서 학습된 모델을 작은 데이터셋에 적용할 때 유용합니다.전이 학습은 모델이 사전 학습한 지식을 새로운 문제에 적용하여 학습 속도를 높이고 성능을 향상시킬 수 있습니다.Transfer Learning (전이 학습)기존의 Neural Network(신경망)에서 최상위 부분을 새로 정의한 다음, 이 부분을 Training 시키는 것이 Transfer Learning (전이 학습) 이라고 합니다.이때 Neural Network(신경망)의 하위 부분은 이미 Training된 Neural Network(신경망)을 사용하..
OpenCV 영상 처리 개요한번 OpenCV의 영상처리 방법에 데하여 알아보겠습니다.OpenCV의 VideoCapture클래스는 동영상을 개별 Frame으로 하나씩 읽어(Read)들이는 기능을 제공합니다.VideoWriter는 VideoCapture로 읽어들인 개별 Frame을 동영상 파일로 Write를 수행합니다.VideoCapture.read() - 영상의 다음 Frame을 읽습니다.VideoWriter.write() - 영상의 Frame을 write 합니다.cap = cv2.VideoCapture(video_input_path)…………vid_writer = cv2.VideoWriter(video_output_path, …..)while True:hasFrame, img_frame = cap.read..
오랜만에 NLP 관련 글을 쓰네요.. 시간 나는대로 열심히 쓰고 올려 보도록 하겠습니다. Thesaursus - 시소러스시소러스(Thesaurus)는 단어와 그 의미를 연결시켜주는 도구입니다.주로 특정 단어와 의미적으로 유사한 단어(동의어)와 반대 의미를 가진 단어(반의어)를 제공하여, 글을 쓰거나 말을 할 때 다양한 표현을 사용할 수 있도록 돕습니다.다른 의미로 말하면, 유의어 사전으로 '뜻이 같은 단어(동의어)'나 '뜻이 비슷한 단어(유의어)'가 한 그룹으로 분류되어 있습니다.또한 NLP에서 이용되는 시소러스에서는 단어 사이의 '상위, 하위' 혹은 '전체, 부분'등 더 세세한 관계까지 정의해둔 경우가 있습니다.예를 들어서 아래의 그래프 처럼 관계를 정의합니다.이처럼 모든 단어에 데한 유의어 집합을 만..
Python 기반 주요 이미지 라이브러리크게 3가지가 있습니다.PIL (Python Image Library)주로 이미지 처리만을 위해 사용합니다.처리 성능이 상대적으로 느리다는 단점이 있습니다.Scikit-Image파이썬 기반의 전반적인 컴퓨터 비전 기능 입니다.사이파이(Scipy)에 기반하고 있습니다.OpenCV오픈소스 기반의 최고 인기 컴퓨터 비전 라이브러리 입니다.컴퓨터 비전 기능 일반화에 크게 기여 했다는 특징이 있습니다.(어려운 기능도 API 몇줄로 간단하게 구현이 가능합니다.)C++ 기반이나 Python도 지원합니다. (Java, C# 등 다양한 언어 지원) OpenCV 특징OpenCV (Open Source Computer Vision Library)는 컴퓨터 비전과 머신 러닝을 위한 오픈..
주요 Dataset많은 Detection & Segmentation DL 패키지가 아래의 Dataset들을 기반으로 Pretrained 되어 배포되었습니다.PASCAL VOC: XML Format, 20개의 Object CategoryBounding Box 양식으로 구성되어 있습니다(XML), 그리고 하나의 Image에 데하여 Annotation 합니다. MS COCO: json Form, 80개의 오브젝트 카테고리Google Open Images: csv Format, 600개의 오브젝트 카테고리 PASCAL VOC 2012PASCAL VOC(Pattern Analysis, Statistical Modelling and Computational Learning Visual Object Classes)..
이번글에서는 다양한 CNN 네트워크에 데하여 알아보겠습니다. LeNet 5LeNet-5는 기본적인 CNN 아키텍처를 정의하며, 현재의 딥러닝의 기초가 되었습니다.주로 손글씨 숫자 인식(MNIST 데이터셋) 문제를 해결하기 위해 개발되었으며, 또한 현대 CNN의 기초를 마련한 모델로 여겨집니다.LeNet-5는 총 7개의 레이어(입력과 출력 포함)로 구성된 네트워크입니다.LeNet-5의 구조는 크게 두 부분으로 나눌 수 있습니다.Convolutional Neural Network (CNN)Fully Connected Network (FCN)각 레이어는 특정한 역할을 수행하며, Convolutional Neural Network(CNN - 합성곱 레이어)와 서브샘플링 레이어(Pooling Layer)를 교대로..
