이번에는 Fine-Tuning (파인튜닝)에 데하여 한번 알아보겠습니다. 파인튜닝(Finetuning)은 딥러닝과 LLM 모두에서 널리 사용되는 방법론으로, 이미 사전 학습된 모델을 특정 작업에 맞게 추가 학습시키는 과정을 의미합니다. 파인튜닝은 기본적으로 동일한 원리를 공유합니다. Fine-Tuning? Fine-Tuning(파인튜닝)은 사전 학습(Pre-training)된 모델을 특정한 작업에 맞게 추가로 학습하는 과정입니다.사전 학습 단계에서는 모델이 일반적인 패턴을 학습하고, 파인튜닝 단계에서는 이 모델을 특정한 목적에 맞춰 최적화합니다.이미 사전 학습을 통해 학습된 모델의 일반적인 지식을 활용하여, 새로운 작업이나 데이터셋에 빠르게 적응하는 것이 목표입니다.Pre-Training vs Fine..
논문을 계속 읽어야지 읽어야지 생각하다가.. 용기를 내어서 한번 읽어본 내용을 정리해보겠습니다. VGGNet Paper (2014)VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION.논문 사이트 링크는 아래에 남겨놓겠습니다. 그러면 한번 차근차근 리뷰해 보겠습니다. Very Deep Convolutional Networks for Large-Scale Image RecognitionIn this work we investigate the effect of the convolutional network depth on its accuracy in the large-scale image recognition setting. Our main ..
Validation Set (검증 세트)Test Dataset을 사용하지 않으면 모델이 과대적합인지 과소적합인지 판단하기 어렵습니다.테스트 세트를 사용하지 않고 이를 측정하는 간단한 방법은 Training Dataset을 나누는 방법입니다.이 나눈 Dataset를 Validation Set (검증 세트)라고 부릅니다.전체 데이터셋이 100%라고 하면 전체 데이터셋 중에서 20%만 Test Dataset으로 만들고, 80%를 Train Dataset으로 구성했으면, 이 Training Dataset중 20%를 떼어 내어서 Validation Dataset으로 나눕니다.Training Dataset에서 Model을 Training하고 Validation Set로 모델을 평가합니다.이런식으로 Test 하고 싶..
OpenCV DNN 패키지를 이용하여 SSD기반 Object Detection 수행 Tensorflow 에서 Pretrained 된 모델 파일을 OpenCV에서 로드하여 이미지와 영상에 대한 Object Detection을 수행해보겠습니다.입력 이미지로 사용될 이미지 보기import cv2import matplotlib.pyplot as plt%matplotlib inlineimg = cv2.imread('../../data/image/beatles01.jpg')img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)print('image shape:', img.shape)plt.figure(figsize=(12, 12))plt.imshow(img_rgb)Tensorflow에서..
OpenCV DNN 장단점OpenCV Deep Neural Network의 장단점에 데하여 알아보겠습니다.OpenCV 라이브러리는 Intel에 의하여 최초 개발 되었습니다. 장단점을 설명해보겠습니다.OpenCV DNN 장점딥러닝 개발 프레임 워크 없이 쉽게 Inference를 구현 가능 합니다.OpenCV에서 지원하는 다양한 Computer Vision 처리 및 API와 Deep learning을 쉽게 결합할 수 있다는 특징이 있습니다.OpenCV DNN 단점GPU 지원 기능이 약합니다.DNN 모듈은 과거에 NVIDIA GPU 지원이 되지 않았습니다. 2019년 10월에 Google에서 NVIDIA GPU 지원 발표했지만. 아직 환경 구성/설치가 어렵습니다. 점차 개선 작업이 진행중입니다.OpenCV는 ..
RNNLM (RNN을 사용한 Language (언어) 모델)이번에는 RNN을 사용하여 Language Model(언어 모델)을 구현해 보겠습니다.그 전에 먼저 사용되는 Neural Network(신경망)을 한번 보고 시작해보겠습니다.왼쪽은 RNNLM의 계층 구성이고, 오른쪽에는 이를 시간축으로 펼친 Neural Network(신경망)입니다.그림의 Embedding Layer(계층)은 단어 ID의 분산 표현 (단어 Vector)로 변환됩니다.그리고 그 분산 표현이 RNN Layer(RNN 계층)로 입력됩니다.RNN 계층은 Hidden State(은닉 상태)를 다음 Layer(층)으로 출력함과 동시에, 다음 시각의 RNN 계층(오른쪽)으로 출력됩니다.그리고 RNN 계층이 위로 출력한 Hidden State(..
Fast R-CNN 개요 FAST R-CNN은 R-CNN (Region-based Convolutional Neural Network)과 SPP-Net (Spatial Pyramid Pooling Network)의 단점을 보완하고, 객체 탐지의 속도와 정확성을 크게 개선한 모델입니다 Fast R-CNN은 이러한 요소로 구성되어 있습니다.입력 이미지: 원본 이미지와 Region Proposal이 입력됩니다.공통 CNN: 이미지에서 Feature Map(특징 맵)을 추출합니다.RoI Pooling Layer: 각 Region Proposal을 고정된 크기의 *Feature Map(특징 맵)으로 변환합니다.완전 연결 층: 고정된 크기의 *Feature Map(특징 맵)을 입력으로 받아 Classificatio..
SPPNet - Spatial Pyramid Pooling Net이번에는 SPPNet - Spatial Pyramid Pooling Net에 데하여 알아보고 왜 SPPNet이 등장했는지 한번 알아 보겠습니다. RCNN 주요 문제점그전에 RCNN의 주요 문제점에 데하여 한번 알아보겠습니다.일단, CNN은 2,000개의 Region 영역 이미지가 CNN으로 입력 되면서 Object Detection 수행시간이 오래 걸립니다.이유는 위의 그림을 보면 알 수 있듯이 2,000개의 Region 영역이 Proposal 되어야 합니다.그러면 Feature Map이 2,000개가 만들어 저야 합니다. 이로 인해서 먾은 연산이 필요하며 처리 시간이 길어집니다.또한 Region 영역 이미지가 고정된 크기로 Crop / W..
BPTT (Backpropagation Through Time)BPTT(Backpropagation Through Time)는 순환 신경망(RNN, Recurrent Neural Network)의 학습을 위해 사용되는 Backpropagation(역전파) 알고리즘의 확장 버전입니다.여기서의 Backpropagation(오차역전파법)은?'시간 방향으로 펼친 신경망의 오차역전파법' 이란 뜻으로 BPTT(Backpropagation Through Time)이라고 합니다.이 BPTT를 사용하면 RNN을 학습할 수 있습니다. RNN에 관한 개념은 아래의 글에 적어놓았으니 참고해 주시면 될거 같습니다. [DL] RNN (Recurrent Netural Network) - 순환신경망1. RNN 이란?RNN은 Sequ..
이번 글에서는 추론 기반 기법과 Neural Network(신경망)에 데하여 한번 알아 보겠습니다. 통계 기반 기법의 문제점단어를 Vector로 표현하는 방법은 최근에는 크게 두 부류로 나눌 수 있습니다. '통계 기반 기법'과 '추론 기반 기법' 입니다.두 방법이 단어의 의미를 얻는 방식은 서로 다르지만, 그 배경에는 모두 분포 가설이 있습니다.통계 기반 기법에서는 주변 반어의 빈도를 기초로 단어를 표현 했습니다.구체적으로는 단어의 Co-Occurance Matrix(동시 발생 행렬)을 만들고 그 행렬에 특잇값분해(Singular Value Decomposition, SVD)를 적용하여 밀집벡터를 얻습니다.그러나, 이 방식은 대규모 Corpus(말뭉치)를 다룰 때 문제가 발생합니다. 일단, 통계 기반 기..
