LLM관련 스터디를 하고 있는데, BERT 모델에 데하여 공부를 해야할 타이밍이여서, 하는김에 내용도 정리해 보도록 하겠습니다.그리고 BERT Model에 데하여 이해를 하려면 Transformer라는 모델에 데하여 어느정도 이해가 필요합니다.아래 참고글 남길테니 한번 보고 이 글을 읽어주세요!! [NLP] Transformer Model - 트랜스포머 모델 알아보기이번 글에서는 Transformer 모델의 전반적인 Architecture 및 구성에 데하여 알아보겠습니다. Transformer: Attention is All You Need Transformer 모델은 2017년에 "Attention is All You Need"라는 논문을 통해서 소개되었습daehyun-bigbread.tistory.c..
이번에는 Quantization(양자화), LoRA & QLoRA에 데하여 한번 알아보겠습니다.Quantization(양자화)? Quantization(양자화)는 딥러닝 모델의 메모리 사용량과 계산 효율성을 향상시키기 위한 기술로, 고정 소수점(fixed-point) 숫자 표현을 사용하여 모델의 가중치와 활성화 값을 표현하는 방식입니다. 이는 훈련된 모델의 정확성을 최대한 유지하면서도 성능을 개선하는 것을 목표로 합니다.Quantization(양자화)의 필요성딥러닝에서 Quantization(양자화)가 필요한 이유에 데하여 한번 알아보겠습니다.메모리 절감: 모델 파라미터의 크기를 줄여 메모리 사용량을 절감합니다.연산 속도 향상: 고정 소수점 연산은 부동 소수점 연산보다 빠르기 때문에 추론 속도가 빨라집니..
이번에는 Model Distillation (모델 증류)에 관한 내용에 데하여 한번 설명해 보도록 하겠습니다.What is Model Distillation (모델 증류)? 모델 증류는 딥러닝에서 큰 모델의 지식을 작은 모델로 전달하여, 작은 모델이 큰 모델의 성능을 최대한 모방하도록 하는 기법입니다.이 방법은 큰 모델(교사 모델, Teacher Model)이 복잡한 패턴과 지식을 이미 학습한 상태에서, 그 지식을 작은 모델(학생 모델, Student Model)에 전달하여 더 효율적인 모델을 만드는 것을 목표로 합니다. Model Distillation (모델 증류)의 필요성그러면 Model Distillation (모델 증류)가 필요한 이유는 무엇일까요?자원 효율성: 대형 모델은 높은 성능을 보이지만..
이번에는 Fine-Tuning (파인튜닝)에 데하여 한번 알아보겠습니다. 파인튜닝(Finetuning)은 딥러닝과 LLM 모두에서 널리 사용되는 방법론으로, 이미 사전 학습된 모델을 특정 작업에 맞게 추가 학습시키는 과정을 의미합니다. 파인튜닝은 기본적으로 동일한 원리를 공유합니다. Fine-Tuning? Fine-Tuning(파인튜닝)은 사전 학습(Pre-training)된 모델을 특정한 작업에 맞게 추가로 학습하는 과정입니다.사전 학습 단계에서는 모델이 일반적인 패턴을 학습하고, 파인튜닝 단계에서는 이 모델을 특정한 목적에 맞춰 최적화합니다.이미 사전 학습을 통해 학습된 모델의 일반적인 지식을 활용하여, 새로운 작업이나 데이터셋에 빠르게 적응하는 것이 목표입니다.Pre-Training vs Fine..
이번 글에선 Retrieve Augmented Generation (RAG)에 데하여 한번 알아보겠습니다.Retrieve Augmented Generation (RAG) RAG(Retrieve-Augmented Generation)은 대규모 언어 모델(LLM)의 한계점을 극복하고 더 정확하고 풍부한 응답을 제공하기 위해 고안된 아키텍처입니다.RAG는 특정 질의에 대해 외부 지식 베이스에서 관련 정보를 검색한 후, 이 정보를 기반으로 텍스트를 생성하는 방식으로 작동합니다.특히 정보가 풍부한 응답을 생성하는 데 유리합니다.RAG ArchitectureRAG(Retrieve Augmented Generation)은 크게 세 가지 단계로 구성됩니다.Retrieve 단계, Augmented 단계, 그리고 Gene..
앞에 LLM 소개 글에서 Prompt Engineering에 관한 소개를 간단히 했습니다. 이번글에서 더 자세히 다뤄보겠습니다.Prompt EngineeringPrompt Engineering이란 생성형 인공지능(AI), 특히 LLM을 활용하여 원하는 결과를 얻을 수 있도록 효과적인 프롬프트를 설계하고 구성하는 과정 을 말합니다. 이는 AI의 능력을 최대한 활용하여 더 나은 결과를 얻는 방법을 연구하고 적용하는 기술 입니다.예를 들어, 특정한 질문을 했을 때, 답변의 정확성과 품질을 높이기 위해 프롬프트를 더 구체적이고 명확하게 만드는 것이 바로 Prompt Engineering입니다. 이를 통해 모델이 더 나은 성능을 발휘하고, 사용자는 원하는 결과를 정확하게 얻을 수 있습니다.효율적인 프롬프트 작성:..
LLM 파트 부분에 대한 글을 처음써보네요. 앞으로 당분간은 LLM에 관한 글만 올릴거 같아요..공부를 그쪽으로 하고 있어서. 한번 시작해볼께요.Large Language Model (LLM)LLM으로 들어가기 전에, 일단 AI가 어떠한 개념인지 한번 짚고 넘어가야 할 필요가 있습니다.AI는 인간의 학습 능력, 추론 능력, 지각 능력을 인공적으로 구현하려는, 컴퓨터 과학의 세부 분야중 하나입니다.즉, AI는 인간의 인지 능력을 모방하여 데이터를 처리하고 분석하는 기술입니다. 한번 다이어그램을 보고 어떠한 Flow로 구성되는지 설명을 드리겠습니다.INPUT (입력): AI 시스템에 주어지는 데이터 또는 정보입니다. 예를 들어, 텍스트, 이미지, 음성 등이 입력으로 들어갈 수 있습니다.학습, 추론, 지각: ..
Deep Learning Model Optimization (딥러닝 모델 최적화) 기법에 데하여 설명해 보겠습니다. 딥러닝 모델의 성능을 극대화하기 위해서는 다양한 하이퍼파라미터를 최적화해야 합니다. 각 하이퍼파라미터는 모델의 학습 과정에 중요한 영향을 미치며, 적절한 설정이 필요합니다. 아래는 주요 하이퍼파라미터와 그 설정 방법에 대한 상세한 정리입니다. 딥러닝 모델 최적화를 위한 하이퍼파라미터 정리1. 학습률 (Learning Rate)정의: 학습률은 경사 하강법에서 가중치가 업데이트되는 크기를 결정하는 하이퍼파라미터입니다.영향:높은 학습률: 학습 속도가 빨라질 수 있지만, 손실 함수가 최솟값에 도달하지 못하고 발산할 위험이 있습니다.낮은 학습률: 학습 속도는 느려지지만, 손실 함수가 더 안정적으로 ..
생성적 적대 신경망 (GAN)?생성적 적대 신경망(GAN)은 두 개의 신경망인 생성자(Generator)와 판별자(Discriminator)가 경쟁적으로 학습하면서, 현실과 유사한 데이터를 생성하는 모델입니다. GAN은 특히 이미지 생성, 데이터 증강, 비디오 생성 등 다양한 응용 분야에서 매우 유용하게 사용됩니다.아래에서 GAN의 구성 요소, 학습 절차, 변형 모델, 응용 분야, 장점과 단점에 대해 자세히 설명하겠습니다. GAN의 구성 요소생성자(Generator):역할: 생성자는 임의의 노이즈 벡터를 받아들여 현실감 있는 데이터를 생성하는 역할을 합니다. 이 과정에서 생성자는 입력된 노이즈 벡터를 점차 고차원 데이터, 예를 들어 이미지를 생성하는 데 필요한 고차원 벡터로 변환합니다.목표: 생성자의 주..
NLP를 오랜만에 공부해보다 AutoEncoder에 대한 내용이 없는거 같아 한번 설명해 보겠습니다.오토인코더(Autoencoder)란?AutoEncoder(오토인코더)는 인공신경망을 기반으로 한 비지도 학습 모델로, 주어진 데이터의 효율적인 표현을 학습하는 데 중점을 둡니다. 이는 데이터를 압축하고 차원을 축소하거나, 노이즈를 제거하고 이상 탐지와 같은 다양한 응용 분야에 사용됩니다. 오토인코더(Autoencoder)의 작동 원리오토인코더는 입력 데이터를 압축하여 잠재 공간(latent space)이라는 저차원 표현으로 변환한 다음, 이를 다시 원래의 데이터로 복원하는 과정을 통해 학습합니다. 이러한 과정은 주로 다음 두 가지 주요 구성 요소로 이루어집니다.인코더(Encoder): 입력 데이터를 저차원..
