[DL] Finetuning (파인튜닝)

이번에는 Fine-Tuning (파인튜닝)에 데하여 한번 알아보겠습니다.

 

파인튜닝(Finetuning)은 딥러닝과 LLM 모두에서 널리 사용되는 방법론으로, 이미 사전 학습된 모델을 특정 작업에 맞게 추가 학습시키는 과정을 의미합니다. 파인튜닝은 기본적으로 동일한 원리를 공유합니다.

 

Fine-Tuning? 

 

Fine-Tuning(파인튜닝)은 사전 학습(Pre-training)된 모델을 특정한 작업에 맞게 추가로 학습하는 과정입니다.

사전 학습 단계에서는 모델이 일반적인 패턴을 학습하고, 파인튜닝 단계에서는 이 모델을 특정한 목적에 맞춰 최적화합니다.

이미 사전 학습을 통해 학습된 모델의 일반적인 지식을 활용하여, 새로운 작업이나 데이터셋에 빠르게 적응하는 것이 목표입니다.

---

Pre-Training vs Fine-Tuning

그러면 Fine-Tuning에 데하여 알아보았으니, Pre-Training(사전학습)과의 차이점을 한번 보겠습니다.

Pre-training (사전학습)

딥러닝 및 LLM 공통점

• 매우 큰 규모의 데이터셋을 사용하여 모델이 다양한 패턴, 구조, 특징을 학습하는 단계입니다.
• 이미지, 텍스트 등 다양한 데이터 타입에 대해 일반적인 표현을 학습합니다.

딥러닝

• 이미지 분류를 위한 CNN, 물체 인식을 위한 R-CNN 등에서 이미지넷(ImageNet) 같은 대규모 데이터셋을 사용하여 기본적인 시각적 특징을 학습합니다.

LLM

• 수십억 개의 단어로 이루어진 대규모 텍스트 데이터셋을 사용하여 언어의 일반적인 구조와 표현을 학습합니다.

 

Finetuning (파인튜닝)

딥러닝 및 LLM 공통점

• 사전 학습된 모델을 특정 작업에 맞게 추가 학습시키는 단계입니다.
• 특정 작업에 대한 데이터셋을 사용하여 모델의 가중치를 조정하며, 사전 학습에서 배운 일반적인 패턴을 특정한 문제로 세밀하게 조정합니다.

딥러닝

• 사전 학습된 이미지 분류 모델을 특정 도메인(예: 의료 이미지 진단)에 맞게 파인튜닝하여 해당 분야에서의 정확도를 향상시킵니다.

LLM

• 사전 학습된 언어 모델을 감정 분석, 번역, 질문 응답 등의 작업에 맞게 파인튜닝하여 해당 작업에서의 성능을 높입니다.

---

Fine-Tuning(파인튜닝)의 필요성

그러면 AI Model에 왜 Fine-Tuning(파인튜닝)이 필요할까요?

• 사전 학습된 모델은 이미 충분한 일반적인 패턴을 학습했기 때문에, 파인튜닝은 상대적으로 적은 양의 데이터로도 높은 성능을 발휘할 수 있습니다. 이는 딥러닝과 LLM 모두에 적용됩니다.
• Pre-Training(사전 학습)단계에는 대규모 데이터와 컴퓨팅 자원이 필요하지만, Fine-Tuning(파인튜닝)은 상대적으로 적은 자원으로 수행할 수 있습니다.
• 모델이 이미 학습한 지식을 특정 작업으로 전이(transfer)하여 빠르게 수렴하고 좋은 성능을 달성할 수 있습니다.

---

Fine-Tuning(파인튜닝)의 장단점

그러면 Fine-Tuning(파인튜팅)의 필요성을 알았으면 장단점에 데하여 알아볼까요?

장점

• 높은 성능: 특정 작업에 최적화된 성능을 제공합니다. 이는 딥러닝에서 이미지 분류, LLM에서 텍스트 생성 등에서 모두 적용됩니다.
• 적은 데이터 및 자원: 파인튜닝은 상대적으로 적은 데이터와 자원으로도 좋은 성능을 낼 수 있습니다.
• 빠른 학습 속도: 전이 학습을 통해 빠른 수렴 속도를 얻을 수 있습니다.

단점

• 데이터셋 품질: 잘못된 데이터셋으로 파인튜닝을 수행하면 모델의 성능이 저하될 수 있습니다.
• 과적합(Overfitting): 파인튜닝 시 과적합의 위험이 있으며, 이로 인해 모델의 일반화 능력이 떨어질 수 있습니다.
• 지식 손상: 파인튜닝 과정에서 모델이 원래 학습한 일반적인 지식을 잃을 수 있습니다.

---

다양한 Fine-Tuning(파인튜닝) 방법

Fine-Tuning(파인튜닝)에는 다양한 방법이 있습니다. 한번 알아볼까요?

Instruction Fine-Tuning (LLM 중심)

• LLM: 모델에게 특정 작업이나 목표를 명확하게 지시(Instruction)하여 학습을 유도하는 방법입니다. "다음 문장을 번역하시오"와 같은 명확한 지시를 포함한 데이터셋을 사용합니다.

Full Fine-Tuning (공통)

• 딥러닝 및 LLM: 사전 학습된 모델 전체를 특정 작업의 데이터셋으로 학습시키는 방법입니다. 모델의 모든 파라미터를 조정하여 작업에 맞게 최적화합니다.

Parameter-Efficient Fine-Tuning (PEFT)

• 공통: 모델의 일부 파라미터만 조정하여 학습 비용과 시간을 줄이는 방법입니다. 주요 레이어나 특정 파라미터만 조정하고 나머지는 고정합니다.
• LLM: PEFT를 통해 대규모 언어 모델에서 특정 작업을 더 효율적으로 수행합니다.

Supervised Fine-tuning (SFT)

• 공통: 지도 학습을 통해 모델을 특정 작업에 맞게 학습시키는 방법입니다. 라벨링된 데이터셋을 사용하여 학습을 진행합니다.

---

LLM이 요구하는 VRAM (비디오 메모리)

대규모 언어 모델(LLM)은 학습, 파인튜닝, 추론(Inference) 단계에서 많은 양의 VRAM을 요구합니다.

각 단계에서 필요한 VRAM 용량은 여러 요인에 의해 결정됩니다.

다음은 각 단계에서 VRAM 요구 사항에 영향을 미치는 주요 요소들입니다.

 

Training (학습 단계)

• 요구 사항: 학습 단계에서는 가장 많은 VRAM이 필요합니다. 모델의 파라미터 수, 데이터셋의 크기, 배치 크기, 시퀀스 길이, 그라디언트 및 옵티마이저 상태 등이 VRAM 사용량을 결정합니다.
• 주요 요소:
  • 데이터셋 크기: 학습 데이터셋이 클수록 더 많은 VRAM이 필요합니다. 특히 배치(batch) 단위로 데이터를 처리하기 때문에, 배치 크기(batch size)에 따라 필요한 VRAM이 증가합니다.
  • 배치 크기: 한 번에 처리하는 데이터의 개수를 의미하며, 배치 크기가 클수록 메모리 사용량이 증가합니다.
  • 시퀀스 길이: 모델이 한 번에 처리하는 입력 시퀀스의 길이로, 시퀀스 길이가 길수록 VRAM 사용량이 증가합니다.
  • 모델 파라미터: 모델의 크기, 즉 파라미터의 수가 많을수록 VRAM이 더 많이 필요합니다. GPT-3와 같은 대규모 모델은 수십억 개의 파라미터를 가지며, 이 파라미터들을 학습하고 업데이트하기 위해 대량의 VRAM이 필요합니다.
  • 그라디언트 및 옵티마이저 상태: 학습 중에는 그라디언트 계산 및 옵티마이저 상태를 저장해야 하므로, 이 부분도 추가적인 VRAM을 요구합니다.

 

Fine-tuning (파인튜닝 단계)

• 요구 사항: 파인튜닝 단계에서는 전체 학습에 비해 적은 VRAM이 필요하지만, 여전히 상당한 양의 메모리를 요구합니다. 파인튜닝은 사전 학습된 모델을 특정 작업에 맞게 조정하는 과정이므로, 모델의 크기와 그라디언트 및 옵티마이저 상태에 따라 VRAM 요구 사항이 결정됩니다.
• 주요 요소:
  • 모델 크기: 파인튜닝하려는 모델의 크기가 클수록 더 많은 VRAM이 필요합니다. GPT-3와 같은 대규모 모델을 파인튜닝할 때는 여전히 많은 VRAM이 요구됩니다.
  • 그라디언트 및 옵티마이저 상태: 학습 단계와 마찬가지로 파인튜닝 시에도 그라디언트 계산과 옵티마이저 상태를 저장해야 합니다.
  • PEFT (Parameter-Efficient Fine-Tuning): PEFT와 같은 특정 파인튜닝 방법을 사용하면 모델의 일부 파라미터만 조정하여 VRAM 사용량을 줄일 수 있습니다. 예를 들어, 전체 모델을 파인튜닝하는 대신, 특정 레이어나 파라미터만 조정하여 메모리 요구 사항을 최적화할 수 있습니다.

 

Inference (추론 단계)

• 요구 사항: 추론 단계에서는 학습 단계보다 적은 VRAM이 필요하지만, 여전히 모델의 크기와 입력 데이터에 따라 상당한 VRAM이 필요할 수 있습니다. 이 단계에서는 모델이 주어진 입력에 대해 예측을 생성하기 위한 연산을 수행합니다.
• 주요 요소:
  • 모델 크기: 추론 시에는 모델 파라미터를 로드하여 메모리에 유지해야 합니다. 모델이 클수록 더 많은 VRAM이 필요합니다.
  • 배치 크기: 추론 단계에서도 배치 처리를 사용할 수 있으며, 한 번에 처리하는 입력의 개수에 따라 VRAM 사용량이 달라집니다.
  • 시퀀스 길이: 입력 시퀀스의 길이가 길수록 추론 시 필요한 VRAM이 증가합니다. 특히, 언어 모델의 경우 입력 문장의 길이에 따라 메모리 사용량이 달라집니다.

 

Training: 가장 많은 VRAM을 요구하며, 모델 파라미터 수, 배치 크기, 시퀀스 길이, 그라디언트 및 옵티마이저 상태에 의해 VRAM 사용량이 결정됩니다.
Finetuning: 학습보다는 적은 VRAM이 필요하지만, 여전히 상당한 용량이 요구됩니다. PEFT와 같은 방법을 통해 VRAM 요구 사항을 줄일 수 있습니다.
Inference: 학습과 파인튜닝 단계보다는 적은 VRAM이 필요하지만, 모델 크기와 배치 크기, 시퀀스 길이에 따라 VRAM 사용량이 달라집니다.