이번에는 Quantization(양자화), LoRA & QLoRA에 데하여 한번 알아보겠습니다.Quantization(양자화)? Quantization(양자화)는 딥러닝 모델의 메모리 사용량과 계산 효율성을 향상시키기 위한 기술로, 고정 소수점(fixed-point) 숫자 표현을 사용하여 모델의 가중치와 활성화 값을 표현하는 방식입니다. 이는 훈련된 모델의 정확성을 최대한 유지하면서도 성능을 개선하는 것을 목표로 합니다.Quantization(양자화)의 필요성딥러닝에서 Quantization(양자화)가 필요한 이유에 데하여 한번 알아보겠습니다.메모리 절감: 모델 파라미터의 크기를 줄여 메모리 사용량을 절감합니다.연산 속도 향상: 고정 소수점 연산은 부동 소수점 연산보다 빠르기 때문에 추론 속도가 빨라집니..
이번에는 Model Distillation (모델 증류)에 관한 내용에 데하여 한번 설명해 보도록 하겠습니다.What is Model Distillation (모델 증류)? 모델 증류는 딥러닝에서 큰 모델의 지식을 작은 모델로 전달하여, 작은 모델이 큰 모델의 성능을 최대한 모방하도록 하는 기법입니다.이 방법은 큰 모델(교사 모델, Teacher Model)이 복잡한 패턴과 지식을 이미 학습한 상태에서, 그 지식을 작은 모델(학생 모델, Student Model)에 전달하여 더 효율적인 모델을 만드는 것을 목표로 합니다. Model Distillation (모델 증류)의 필요성그러면 Model Distillation (모델 증류)가 필요한 이유는 무엇일까요?자원 효율성: 대형 모델은 높은 성능을 보이지만..
이번에는 Fine-Tuning (파인튜닝)에 데하여 한번 알아보겠습니다. 파인튜닝(Finetuning)은 딥러닝과 LLM 모두에서 널리 사용되는 방법론으로, 이미 사전 학습된 모델을 특정 작업에 맞게 추가 학습시키는 과정을 의미합니다. 파인튜닝은 기본적으로 동일한 원리를 공유합니다. Fine-Tuning? Fine-Tuning(파인튜닝)은 사전 학습(Pre-training)된 모델을 특정한 작업에 맞게 추가로 학습하는 과정입니다.사전 학습 단계에서는 모델이 일반적인 패턴을 학습하고, 파인튜닝 단계에서는 이 모델을 특정한 목적에 맞춰 최적화합니다.이미 사전 학습을 통해 학습된 모델의 일반적인 지식을 활용하여, 새로운 작업이나 데이터셋에 빠르게 적응하는 것이 목표입니다.Pre-Training vs Fine..
논문을 계속 읽어야지 읽어야지 생각하다가.. 용기를 내어서 한번 읽어본 내용을 정리해보겠습니다. VGGNet Paper (2014)VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION.논문 사이트 링크는 아래에 남겨놓겠습니다. 그러면 한번 차근차근 리뷰해 보겠습니다. Very Deep Convolutional Networks for Large-Scale Image RecognitionIn this work we investigate the effect of the convolutional network depth on its accuracy in the large-scale image recognition setting. Our main ..
Validation Set (검증 세트)Test Dataset을 사용하지 않으면 모델이 과대적합인지 과소적합인지 판단하기 어렵습니다.테스트 세트를 사용하지 않고 이를 측정하는 간단한 방법은 Training Dataset을 나누는 방법입니다.이 나눈 Dataset를 Validation Set (검증 세트)라고 부릅니다.전체 데이터셋이 100%라고 하면 전체 데이터셋 중에서 20%만 Test Dataset으로 만들고, 80%를 Train Dataset으로 구성했으면, 이 Training Dataset중 20%를 떼어 내어서 Validation Dataset으로 나눕니다.Training Dataset에서 Model을 Training하고 Validation Set로 모델을 평가합니다.이런식으로 Test 하고 싶..
OpenCV DNN 패키지를 이용하여 SSD기반 Object Detection 수행 Tensorflow 에서 Pretrained 된 모델 파일을 OpenCV에서 로드하여 이미지와 영상에 대한 Object Detection을 수행해보겠습니다.입력 이미지로 사용될 이미지 보기import cv2import matplotlib.pyplot as plt%matplotlib inlineimg = cv2.imread('../../data/image/beatles01.jpg')img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)print('image shape:', img.shape)plt.figure(figsize=(12, 12))plt.imshow(img_rgb)Tensorflow에서..
OpenCV DNN 장단점OpenCV Deep Neural Network의 장단점에 데하여 알아보겠습니다.OpenCV 라이브러리는 Intel에 의하여 최초 개발 되었습니다. 장단점을 설명해보겠습니다.OpenCV DNN 장점딥러닝 개발 프레임 워크 없이 쉽게 Inference를 구현 가능 합니다.OpenCV에서 지원하는 다양한 Computer Vision 처리 및 API와 Deep learning을 쉽게 결합할 수 있다는 특징이 있습니다.OpenCV DNN 단점GPU 지원 기능이 약합니다.DNN 모듈은 과거에 NVIDIA GPU 지원이 되지 않았습니다. 2019년 10월에 Google에서 NVIDIA GPU 지원 발표했지만. 아직 환경 구성/설치가 어렵습니다. 점차 개선 작업이 진행중입니다.OpenCV는 ..
RNNLM (RNN을 사용한 Language (언어) 모델)이번에는 RNN을 사용하여 Language Model(언어 모델)을 구현해 보겠습니다.그 전에 먼저 사용되는 Neural Network(신경망)을 한번 보고 시작해보겠습니다.왼쪽은 RNNLM의 계층 구성이고, 오른쪽에는 이를 시간축으로 펼친 Neural Network(신경망)입니다.그림의 Embedding Layer(계층)은 단어 ID의 분산 표현 (단어 Vector)로 변환됩니다.그리고 그 분산 표현이 RNN Layer(RNN 계층)로 입력됩니다.RNN 계층은 Hidden State(은닉 상태)를 다음 Layer(층)으로 출력함과 동시에, 다음 시각의 RNN 계층(오른쪽)으로 출력됩니다.그리고 RNN 계층이 위로 출력한 Hidden State(..
Fast R-CNN 개요 FAST R-CNN은 R-CNN (Region-based Convolutional Neural Network)과 SPP-Net (Spatial Pyramid Pooling Network)의 단점을 보완하고, 객체 탐지의 속도와 정확성을 크게 개선한 모델입니다 Fast R-CNN은 이러한 요소로 구성되어 있습니다.입력 이미지: 원본 이미지와 Region Proposal이 입력됩니다.공통 CNN: 이미지에서 Feature Map(특징 맵)을 추출합니다.RoI Pooling Layer: 각 Region Proposal을 고정된 크기의 *Feature Map(특징 맵)으로 변환합니다.완전 연결 층: 고정된 크기의 *Feature Map(특징 맵)을 입력으로 받아 Classificatio..
SPPNet - Spatial Pyramid Pooling Net이번에는 SPPNet - Spatial Pyramid Pooling Net에 데하여 알아보고 왜 SPPNet이 등장했는지 한번 알아 보겠습니다. RCNN 주요 문제점그전에 RCNN의 주요 문제점에 데하여 한번 알아보겠습니다.일단, CNN은 2,000개의 Region 영역 이미지가 CNN으로 입력 되면서 Object Detection 수행시간이 오래 걸립니다.이유는 위의 그림을 보면 알 수 있듯이 2,000개의 Region 영역이 Proposal 되어야 합니다.그러면 Feature Map이 2,000개가 만들어 저야 합니다. 이로 인해서 먾은 연산이 필요하며 처리 시간이 길어집니다.또한 Region 영역 이미지가 고정된 크기로 Crop / W..
