이번에는 Quantization(양자화), LoRA & QLoRA에 데하여 한번 알아보겠습니다.Quantization(양자화)? Quantization(양자화)는 딥러닝 모델의 메모리 사용량과 계산 효율성을 향상시키기 위한 기술로, 고정 소수점(fixed-point) 숫자 표현을 사용하여 모델의 가중치와 활성화 값을 표현하는 방식입니다. 이는 훈련된 모델의 정확성을 최대한 유지하면서도 성능을 개선하는 것을 목표로 합니다.Quantization(양자화)의 필요성딥러닝에서 Quantization(양자화)가 필요한 이유에 데하여 한번 알아보겠습니다.메모리 절감: 모델 파라미터의 크기를 줄여 메모리 사용량을 절감합니다.연산 속도 향상: 고정 소수점 연산은 부동 소수점 연산보다 빠르기 때문에 추론 속도가 빨라집니..

이번에는 Model Distillation (모델 증류)에 관한 내용에 데하여 한번 설명해 보도록 하겠습니다.What is Model Distillation (모델 증류)? 모델 증류는 딥러닝에서 큰 모델의 지식을 작은 모델로 전달하여, 작은 모델이 큰 모델의 성능을 최대한 모방하도록 하는 기법입니다.이 방법은 큰 모델(교사 모델, Teacher Model)이 복잡한 패턴과 지식을 이미 학습한 상태에서, 그 지식을 작은 모델(학생 모델, Student Model)에 전달하여 더 효율적인 모델을 만드는 것을 목표로 합니다. Model Distillation (모델 증류)의 필요성그러면 Model Distillation (모델 증류)가 필요한 이유는 무엇일까요?자원 효율성: 대형 모델은 높은 성능을 보이지만..

이번에는 Fine-Tuning (파인튜닝)에 데하여 한번 알아보겠습니다. 파인튜닝(Finetuning)은 딥러닝과 LLM 모두에서 널리 사용되는 방법론으로, 이미 사전 학습된 모델을 특정 작업에 맞게 추가 학습시키는 과정을 의미합니다. 파인튜닝은 기본적으로 동일한 원리를 공유합니다. Fine-Tuning?  Fine-Tuning(파인튜닝)은 사전 학습(Pre-training)된 모델을 특정한 작업에 맞게 추가로 학습하는 과정입니다.사전 학습 단계에서는 모델이 일반적인 패턴을 학습하고, 파인튜닝 단계에서는 이 모델을 특정한 목적에 맞춰 최적화합니다.이미 사전 학습을 통해 학습된 모델의 일반적인 지식을 활용하여, 새로운 작업이나 데이터셋에 빠르게 적응하는 것이 목표입니다.Pre-Training vs Fine..

Deep Learning Model Optimization (딥러닝 모델 최적화) 기법에 데하여 설명해 보겠습니다. 딥러닝 모델의 성능을 극대화하기 위해서는 다양한 하이퍼파라미터를 최적화해야 합니다. 각 하이퍼파라미터는 모델의 학습 과정에 중요한 영향을 미치며, 적절한 설정이 필요합니다. 아래는 주요 하이퍼파라미터와 그 설정 방법에 대한 상세한 정리입니다. 딥러닝 모델 최적화를 위한 하이퍼파라미터 정리1. 학습률 (Learning Rate)정의: 학습률은 경사 하강법에서 가중치가 업데이트되는 크기를 결정하는 하이퍼파라미터입니다.영향:높은 학습률: 학습 속도가 빨라질 수 있지만, 손실 함수가 최솟값에 도달하지 못하고 발산할 위험이 있습니다.낮은 학습률: 학습 속도는 느려지지만, 손실 함수가 더 안정적으로 ..

Transfer Learning, 즉 전이 학습은 ML(머신 러닝)과 DL(딥러닝)에서 기존의 Pre-Training 된 모델을 새로운 작업에 재사용하는 기법입니다. 이 방법은 특히 대규모 데이터셋에서 학습된 모델을 작은 데이터셋에 적용할 때 유용합니다.전이 학습은 모델이 사전 학습한 지식을 새로운 문제에 적용하여 학습 속도를 높이고 성능을 향상시킬 수 있습니다.Transfer Learning (전이 학습)기존의 Neural Network(신경망)에서 최상위 부분을 새로 정의한 다음, 이 부분을 Training 시키는 것이 Transfer Learning (전이 학습) 이라고 합니다.이때 Neural Network(신경망)의 하위 부분은 이미 Training된 Neural Network(신경망)을 사용하..

이번글에서는 다양한 CNN 네트워크에 데하여 알아보겠습니다. LeNet 5LeNet-5는 기본적인 CNN 아키텍처를 정의하며, 현재의 딥러닝의 기초가 되었습니다.주로 손글씨 숫자 인식(MNIST 데이터셋) 문제를 해결하기 위해 개발되었으며, 또한 현대 CNN의 기초를 마련한 모델로 여겨집니다.LeNet-5는 총 7개의 레이어(입력과 출력 포함)로 구성된 네트워크입니다.LeNet-5의 구조는 크게 두 부분으로 나눌 수 있습니다.Convolutional Neural Network (CNN)Fully Connected Network (FCN)각 레이어는 특정한 역할을 수행하며, Convolutional Neural Network(CNN - 합성곱 레이어)와 서브샘플링 레이어(Pooling Layer)를 교대로..

이번에는 Convolution Layer, Pooling Layer를 한번 구현해 보겠습니다. Convolution & Pooling Layer 구현해보기4-Dimension Array (4차원 배열)Convolution Neural Network(CNN)에서 Layer 사이를 흐르는 데이터는 4차원입니다.예를 들어서 데이터의 형상이 (10, 1, 28, 28)이면?Height(높이): 28, Width(너비): 28, Channel(채널): 1개인 데이터가 10개라는 이야기 입니다.이를 Python으로 구현하면 아래의 코드와 같습니다.x = np.random.rand(10, 1, 28, 28) # 무작위로 데이터 생성x[0, 0] # 또는 x[0][0] 첫번째 데이터의 첫 채널 공간 데이터에 접근여기에..

Convolutional Neural Network, CNN은 이미지 인식 & 음식 인식등 다양한 곳에서 사용됩니다.특히 이미지 인식 분야 에서 딥러닝을 활용한 기법은 거이 다 CNN을 기초로 합니다.CNN 전체 구조Convolution Layer(합성곱 계층)과 Pooling Layer(풀링 계층)이 이번에 새로 등장합니다.우리가 본 지금까지의 Neural Network(신경망)은 모든 Neuron과 연결되어 있었습니다.이를 Fully-Connected (FC) - 완전연결 이라고 하며, 완전히 연결된 Layer는 'Affine 계층' 이라는 이름으로 구현했습니다.만약 Affine 계층을 사용하면, Layer가 5개인 Fully-Connected Neural Network(FC 신경망)은 아래의 구림과..

올바른 학습을 위해 Machine Learning에서 Overfitting이 되는 일이 많습니다. Overiftting(오버피팅)은 신경망이 Training data(훈련 데이터)에만 지나치게 적용되어서 그 외의 데이터에는 제대로 대응하지 못하는 상태입니다.Overfitting (오버피팅)오버피팅은 매개변수가 많고 표현력이 높은 모델인 경우, 훈련데이터가 적은 경우에 주로 일어납니다.이 두 요건을 충족하여 Overiftting(오버피팅)을 일으켜 보겠습니다.MNIST Dataset의 훈련데이터중 300개만 사용하고, 7-Layer Network를 사용해서 Network의 복잡성을 높혀보겠습니다.각 Layer의 Neuron은 100개, Activation Function(활성화 함수)는 ReLU 함수를 사..

Batch Normalization - 배치 정규화Batch Normalization (배치 정규화)의 개념은 2015년에 제안된 방법입니다.일단, Batch Normalization(배치 정규화)가 주목받는 이유는 다음의 이유들과 같습니다.Training(학습)을 빨리 할 수 있습니다. 즉, Training(학습) 속도를 개선하는 효과가 있습니다.초깃값에 크게 의존하지 않는다는 특징이 있습니다.그리고 Overiftting을 억제하는 특징이 있습니다. 즉, Dropout등의 필요성이 감소합니다.Batch Normalization(배치 정규화)의 기본 아이디어는 앞에서 말했듯이 각 Layer(층)에서의 Activation Value(활성화 값)이 적당히 분포가 되도록 조정하는 것입니다. 한번 예시를 보겠습..