[DL] Quantization(양자화), LoRA & QLoRA

이번에는 Quantization(양자화), LoRA & QLoRA에 데하여 한번 알아보겠습니다.

Quantization(양자화)?

 

Quantization(양자화)는 딥러닝 모델의 메모리 사용량과 계산 효율성을 향상시키기 위한 기술로, 고정 소수점(fixed-point) 숫자 표현을 사용하여 모델의 가중치와 활성화 값을 표현하는 방식입니다. 이는 훈련된 모델의 정확성을 최대한 유지하면서도 성능을 개선하는 것을 목표로 합니다.

---

Quantization(양자화)의 필요성

딥러닝에서 Quantization(양자화)가 필요한 이유에 데하여 한번 알아보겠습니다.

• 메모리 절감: 모델 파라미터의 크기를 줄여 메모리 사용량을 절감합니다.
• 연산 속도 향상: 고정 소수점 연산은 부동 소수점 연산보다 빠르기 때문에 추론 속도가 빨라집니다.
• 에너지 효율성: 낮은 비트 폭(bit-width)으로 연산하면 에너지 소비가 줄어듭니다.
• 배포 용이성: 모델 크기가 작아져 모바일 기기나 임베디드 시스템 등 자원이 제한된 환경에 배포하기 용이합니다.

---

Quantization(양자화)의 종류

Quantization(양자화)의 종류는 크게 3가지가 있습니다. 한번 자세히 설명해 보겠습니다.

• 정적 양자화 (Static Quantization)
• 동적 양자화 (Dynamic Quantization)
• 훈련 중 양자화 (Quantization-aware Training, QAT)

https://www.tensorflow.org/lite/performance/model_optimization?hl=ko

정적 양자화 (Static Quantization)

정적 양자화는 모델 훈련이 완료된 후에 가중치와 활성화 값을 낮은 정밀도의 형식(예: 8비트 정수)으로 변환하는 기법입니다.

https://gaussian37.github.io/dl-concept-quantization/

• 가중치 양자화: 부동 소수점 가중치를 정수로 변환합니다.
• 활성화 값 양자화: 추론 시 활성화 값을 정수로 변환합니다.
• 칼리브레이션 필요: 활성화 값의 범위를 결정하기 위해 추가적인 데이터셋으로 칼리브레이션을 수행합니다.

주요 특징

• 추가 훈련 불필요: 이미 훈련된 모델에 쉽게 적용할 수 있으며, 추가 훈련이 필요하지 않습니다.
• 안정적인 성능 유지: 미세 조정 없이도 모델의 정확도를 크게 저하시키지 않습니다.
• 하드웨어 친화적: 정적 양자화된 모델은 다양한 하드웨어에서 효율적으로 실행될 수 있습니다.

 

동적 양자화 (Dynamic Quantization)

동적 양자화는 추론 시점에서 모델의 일부 또는 전체 가중치와 활성화 값을 낮은 정밀도의 형식으로 변환하는 기법입니다.

https://gaussian37.github.io/dl-concept-quantization/

• 실시간 양자화: 런타임 동안 실시간으로 양자화를 수행합니다.
• 부분 양자화: 주로 가중치는 부동 소수점으로 유지하고, 활성화 값만 양자화합니다.
• 적용 용이성: 코드 수정 없이 기존 모델에 적용할 수 있습니다.

주요 특징

• 메모리 효율성 향상: 활성화 값을 양자화하여 메모리 사용량을 줄입니다.
• 추론 시간 단축: 고정 소수점 연산을 사용하여 추론 시간을 단축합니다.
• 모델 성능 유지: 모델의 성능 저하를 최소화하면서도 효율성을 극대화합니다.

 

훈련 중 양자화 (Quantization-aware Training, QAT)

훈련 중 양자화(QAT)는 모델 훈련 과정에서 양자화를 고려하여 모델을 최적화하는 기법입니다.

https://gaussian37.github.io/dl-concept-quantization/

• 양자화 시뮬레이션: 훈련 시 가중치와 활성화 값을 양자화된 상태로 시뮬레이션합니다.
• 손실 최소화: 양자화로 인한 정확도 손실을 훈련 단계에서 보정합니다.
• 높은 정확도 유지: 양자화 후에도 원래 모델에 가까운 정확도를 유지합니다.

주요 특징

• 모델 적응력 향상: 모델이 양자화된 환경에서 더 잘 작동하도록 훈련됩니다.
• 맞춤형 양자화 전략: 특정 레이어나 연산에 대해 다른 양자화 방식을 적용할 수 있습니다.
• 복잡성 증가: 훈련 과정이 복잡해지며, 더 많은 계산 자원이 필요할 수 있습니다.

---

Quantization(양자화)의 기술적 세부 사항

양자화 과정

스케일링 인자 계산

• 부동 소수점 값의 범위를 정수 값의 범위로 매핑하기 위한 스케일링 인자를 계산합니다.
• 일반적으로 최소값과 최대값을 이용하여 스케일을 결정합니다.

 

제로 포인트(Zero Point) 결정

• 정수 표현에서 0에 해당하는 부동 소수점 값을 정의합니다.
• 부호 없는 정수 표현을 지원하기 위해 사용됩니다.

양자화 및 역양자화

• 양자화: 부동 소수점 값을 정수 값으로 변환합니다

• 역양자화: 정수 값을 부동 소수점 값으로 복원합니다.

비트 폭(Bit-width)

• 8비트 양자화: 가장 일반적으로 사용되며, 성능과 효율성의 균형이 좋습니다.
• 저비트 양자화: 4비트, 2비트 등 더 낮은 비트 폭을 사용하여 메모리와 계산량을 더욱 줄일 수 있지만, 정확도 손실이 발생할 수 있습니다.

---

Quantization(양자화) 적용시 고려사항

우리가 Deep Learning 모델에 Quantization(양자화)를 적용할때, 고려해야 할 사항들이 있습니다.

모델 구조

• 일부 레이어나 연산은 양자화에 민감할 수 있으므로, 선택적으로 양자화를 적용합니다.
• 예를 들어, 첫 번째 및 마지막 레이어는 양자화를 피하는 것이 좋을 수 있습니다.

데이터 분포

• 활성화 값의 분포가 비대칭적이거나 이상치가 많은 경우, 양자화로 인한 손실이 커질 수 있습니다.
• 이를 완화하기 위해 클리핑(clipping) 또는 비대칭 양자화를 사용할 수 있습니다.

하드웨어 지원

• 양자화된 모델을 효율적으로 실행하기 위해서는 해당 하드웨어가 고정 소수점 연산을 지원해야 합니다.
• 대표적인 예로, ARM의 NEON 또는 NVIDIA의 TensorRT 등이 있습니다.

---

LoRA & QLoRA

이번에는 LoRA & QLoRA에 데하여 한번 알아보겠습니다.

LoRA?

LoRA는 딥러닝 모델의 미세 조정(fine-tuning)을 효율적으로 수행하기 위한 기법으로, 저차원(low-rank) 행렬 분해를 활용하여 모델의 파라미터 업데이트를 최적화합니다. 기존 모델의 모든 파라미터를 업데이트하는 대신, LoRA는 저차원 행렬만을 학습하여 메모리 사용량을 줄이고 계산 효율성을 높입니다.

 

LoRA의 원리

파라미터 행렬 분해

• 원래의 파라미터 행렬 W를 두 개의 저차원 행렬 A와 B의 곱으로 분해합니다.
• 즉, W = W0 + ΔW = W0 + ΔW 이며, 여기서 ΔW = AB입니다.
• W0는 사전 훈련된 기본 파라미터이며, 미세 조정 시에는 ΔW만 업데이트합니다.

저차원 행렬 업데이트

• 학습 중에는 저차원 행렬 A와 B만 학습하고, 기존 파라미터 W0는 고정합니다.
• 저차원 행렬의 크기가 작기 때문에 학습해야 할 파라미터 수가 크게 감소합니다.

효율적인 미세 조정

• 저차원 행렬만 업데이트하므로 메모리 사용량이 줄어들고, 계산 비용이 감소합니다.
• 모델의 표현력을 유지하면서도 자원 효율적인 학습이 가능합니다.

 

LoRA의 장점

메모리 효율성 증가

• 저차원 행렬만 학습하므로 메모리 사용량이 크게 감소합니다.
• 전체 파라미터를 저장하거나 업데이트할 필요가 없습니다.

학습 속도 향상

• 학습해야 할 파라미터 수가 줄어들어 연산량이 감소합니다.
• 이에 따라 학습 시간이 단축됩니다.

자원 제한 환경에서 효과적

• 메모리와 계산 자원이 제한된 환경에서도 대규모 모델의 미세 조정이 가능합니다.
• 모바일 기기나 임베디드 시스템 등에 적합합니다.

모델 성능 유지

• 모델의 표현력을 유지하면서도 효율적인 학습이 가능합니다.
• 미세 조정 후에도 원래 모델에 가까운 성능을 발휘합니다.

 

LoRA의 단점 및 고려사항

모델 구조의 복잡성 증가

• 저차원 행렬을 추가함으로써 모델의 구조가 복잡해질 수 있습니다.
• 구현 및 유지보수가 어려워질 수 있습니다.

랭크 선택의 중요성

• 저차원 행렬의 랭크 r을 적절하게 선택해야 합니다.
• 랭크가 너무 낮으면 모델의 표현력이 부족해지고, 너무 높으면 메모리 절감 효과가 감소합니다.

특정 작업에 대한 한계

• 복잡한 패턴이나 비선형적인 관계를 학습해야 하는 작업에서는 저차원 근사가 충분하지 않을 수 있습니다.
• 이로 인해 성능 저하가 발생할 수 있습니다.

추가 메모리 요구

• 저차원 행렬을 저장하기 위한 추가 메모리가 필요합니다.
• 그러나 이는 전체 모델 파라미터에 비해 매우 작습니다.

---

QLoRA?

QLoRA는 LoRA(Low-Rank Adaptation)의 개념을 확장하여 양자화된 모델에 저차원 적응을 적용한 기법입니다.

양자화(Quantization)는 모델의 파라미터를 낮은 비트 정밀도(예: 8비트 정수)로 변환하여 메모리 사용량과 계산 효율성을 극대화하는 기술입니다.

 

QLoRA는 양자화와 저차원 행렬 분해를 결합하여 더욱 높은 메모리 효율성과 빠른 학습 속도를 구현하면서도 모델의 성능을 유지하는 것을 목표로 합니다.

 

QLoRA의 원리

모델 파라미터 양자화

• 양자화를 통해 모델의 전체 파라미터를 낮은 비트 정밀도로 변환합니다.
• 일반적으로 32비트 부동 소수점 값을 8비트 정수로 변환하여 메모리 사용량을 크게 줄입니다.
• 양자화는 연산을 단순화하여 계산 속도를 향상시킵니다.

저차원 행렬 분해

• 양자화된 파라미터를 저차원 행렬로 분해합니다.
• 고차원 파라미터 행렬을 두 개의 작은 저차원 행렬의 곱으로 근사화합니다.
• 저차원 근사는 원래 파라미터의 중요한 특징을 포착하면서도 자원 사용을 줄입니다.

LoRA 방식으로 학습 진행

• LoRA 기법을 활용하여 저차원 행렬만을 학습합니다.
• 양자화된 기본 모델의 파라미터는 고정시키고, 저차원 행렬만 업데이트합니다.
• 이를 통해 학습해야 할 파라미터 수가 감소하여 학습 속도가 빨라집니다.

양자화와 저차원 적응의 결합

• 양자화로 메모리 사용량과 계산 비용을 줄이고, 저차원 적응으로 효율적인 미세 조정을 수행합니다.
• 두 가지 기법의 장점을 결합하여 모델의 효율성을 극대화합니다.

 

QLoRA의 장점

메모리 효율성

• 양자화와 저차원 분해를 통해 메모리 사용량을 최소화합니다.
• 낮은 비트 정밀도의 파라미터와 작은 크기의 저차원 행렬만 저장하면 됩니다.

빠른 학습 속도

• 학습해야 할 파라미터 수가 크게 감소하여 연산량이 줄어듭니다.
• 계산이 간소화되어 학습 및 추론 속도가 빨라집니다.

성능 유지

• 파라미터의 감소와 정밀도 하락에도 불구하고 모델의 성능을 거의 유지할 수 있습니다.
• 저차원 적응이 중요한 정보를 효과적으로 학습합니다.

자원 효율성

• 제한된 컴퓨팅 자원 환경에서도 대규모 모델을 효과적으로 미세 조정하고 배포할 수 있습니다.

 

QLoRA의 단점

QLoRA는 양자화와 LoRA의 단점을 모두 포함하며, 추가적인 어려움도 존재합니다.

 

양자화 오류 발생 가능성

• 파라미터 정밀도를 낮추는 과정에서 양자화 오류나 잡음이 발생할 수 있습니다.
• 민감한 모델의 경우 정확도가 크게 떨어질 수 있습니다.

구현 복잡성 증가

• 양자화와 저차원 분해를 결합하여 구현 복잡도가 높아집니다.
• 개발 시간과 비용이 증가할 수 있습니다.

하드웨어 의존성

• 양자화된 모델의 효율적인 실행을 위해 특정 하드웨어(예: 8비트 연산을 지원하는 GPU나 TPU)가 필요할 수 있습니다.
• 이는 모델의 이식성을 제한합니다.

추가 계산 오버헤드

• 양자화와 저차원 분해 과정에서 추가적인 계산이 필요합니다.
• 이는 일부 경우에 전체 효율성 이득을 상쇄할 수 있습니다.

학습 안정성 문제

• 양자화로 인해 최적화 과정이 불안정해질 수 있습니다.
• 학습이 수렴하지 않거나 성능이 들쭉날쭉할 위험이 있습니다.

하이퍼파라미터 튜닝의 복잡성

• 적절한 행렬의 랭크(rank)와 양자화 수준을 찾기 위해 많은 실험이 필요할 수 있습니다.