[LLM] LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 리뷰

이번에는 "LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS" 논문을 한번 리뷰해 보겠습니다.

• 논문 링크

LoRA: Low-Rank Adaptation of Large Language Models

Abstract

자연어 처리의 중요한 패러다임은 일반적인 도메인 데이터에 대한 대규모 사전 학습과 특정 작업 또는 도메인에의 적응으로 구성됩니다. 그러나 모델 크기가 커지면서 모든 매개변수를 재학습하는 완전 미세 조정은 점점 비현실적이 되고 있습니다. 예를 들어 GPT-3 175B의 경우, 각 작업에 대해 175B 매개변수를 포함한 독립적인 모델 인스턴스를 배포하는 것은 매우 비용이 많이 듭니다. 이를 해결하기 위해, 사전 학습된 모델의 가중치를 고정하고 트랜스포머 아키텍처의 각 계층에 저랭크(rank decomposition) 행렬을 삽입하는 LoRA(Low-Rank Adaptation)를 제안합니다. 이를 통해 하위 작업에서 학습해야 할 매개변수 수를 크게 줄일 수 있습니다.

 

LoRA는 GPT-3 175B에서 Adam을 사용한 완전 미세 조정 대비 학습 매개변수를 10,000배 줄이고 GPU 메모리 요구량을 3배 줄입니다. RoBERTa, DeBERTa, GPT-2, GPT-3에서 LoRA는 더 적은 매개변수로도 미세 조정보다 동등하거나 더 나은 모델 품질을 달성하며, 학습 속도가 더 빠르고 추가적인 추론 지연이 발생하지 않습니다. 또한, 언어 모델 적응에서의 랭크 결핍(rank-deficiency)을 실증적으로 조사하며 LoRA의 효능을 설명합니다. 우리는 PyTorch 모델과의 통합을 용이하게 하는 패키지를 제공하고, RoBERTa, DeBERTa, GPT-2에 대한 구현과 모델 체크포인트를 공개합니다.

• Github Link: https://github.com/microsoft/LoRA

GitHub - microsoft/LoRA: Code for loralib, an implementation of "LoRA: Low-Rank Adaptation of Large Language Models"

---

Introduction

자연어 처리(NLP)의 많은 응용은 대규모 사전 학습된 언어 모델을 다양한 하위 응용에 맞게 적응시키는 데 의존합니다. 이러한 적응은 일반적으로 사전 학습된 모델의 모든 매개변수를 업데이트하는 미세 조정(fine-tuning)을 통해 이루어집니다. 그러나 미세 조정(fine-tuning)의 주요 단점은 새로운 모델이 원래 모델과 동일한 수의 매개변수를 포함해야 한다는 점입니다.

 

모델 크기가 계속 커지면서 이는 단순히 "불편함"을 넘어서 GPT-2(Radford et al., b)나 RoBERTa large(Liu et al., 2019)와 같은 모델에서 시작된 문제가, GPT-3(1750억 개의 매개변수)에서는 심각한 배포 문제로 이어졌습니다.

많은 연구들은 일부 매개변수만 적응하거나 새로운 작업을 위한 외부 모듈을 학습함으로써 이 문제를 완화하려 했습니다. 이렇게 하면 각 작업에 대해 소수의 작업별 매개변수만 저장하고 로드하면 되므로 운영 효율성이 크게 향상됩니다.

 

그러나 기존 기술에는 다음과 같은 한계가 있습니다:

1. 모델의 깊이를 확장해 추론 지연(inference latency)을 도입하거나(Houlsby et al., 2019; Rebuffi et al., 2017),
2. 모델의 사용 가능한 시퀀스 길이를 줄이는 방식(Li & Liang, 2021; Lester et al., 2021; Hambardzumyan et al., 2020; Liu et al., 2021) 등이 포함됩니다.
3. 이러한 방식은 효율성과 모델 품질 간의 트레이드오프(trade-off)를 초래하며, 미세 조정 방식의 성능을 자주 따라가지 못합니다.

 

LoRA의 핵심 가설: Li et al. (2018a) 및 Aghajanyan et al. (2020)의 연구에 영감을 받아, 사전 학습된 과적합(over-parametrized) 모델이 본질적으로 낮은 차원을 가진다는 점을 관찰했습니다. 이를 바탕으로, 저자는 모델 적응 중 가중치 변화 역시 낮은 "내재적 랭크(intrinsic rank)"를 가진다고 가정합니다.

 

LoRA는 모델의 사전 학습된 가중치를 고정한 상태에서, 적응 중 가중치 변화 부분을 저랭크 행렬(rank decomposition matrices)로 최적화합니다. 이를 통해 GPT-3(1750억 매개변수)의 경우에도 매우 낮은 랭크(r)로 효율적인 학습이 가능합니다(예: 랭크 r=1 또는 2로도 충분).

 

LoRA의 주요 장점

1. 효율적 저장 및 작업 전환
   • 하나의 사전 학습된 모델을 공유하며, 작업별로 소형 LoRA 모듈(저랭크 행렬 A와 B)만 교체하면 됩니다. 이는 저장 요구 사항과 작업 전환 오버헤드를 크게 줄입니다.
2. 효율적 학습과 하드웨어 요구사항 감소
   • 대부분의 매개변수에 대해 경사 계산이나 옵티마이저 상태를 유지할 필요가 없으므로 학습 효율성이 최대 3배 향상됩니다.
3. 추론 지연 없음
   • 학습된 행렬을 고정된 가중치에 통합하여 저장하면 추론 시 추가 지연이 없습니다.
4. 기존 방식과의 결합 가능성
   • LoRA는 프리픽스 튜닝(prefix-tuning) 같은 기존 방식과 병행하여 사용할 수 있습니다.

트랜스포머 계층의 입력 및 출력 차원: dmodel
셀프 어텐션 모듈
- Wq: 쿼리 프로젝션 행렬
- Wk: 키 프로젝션 행렬
- Wv: 값 프로젝션 행렬
- Wo: 출력 프로젝션 행렬
사전 학습 가중치: W0
랭크: r (LoRA 모듈의 랭크)
최적화: Adam 옵티마이저 사용(Loshchilov & Hutter, 2019)
MLP 피드포워드 차원: dffn = 4 × dmodel

---

Problem Statement

이 논문에서의 제안은 특정 training objective에 종속되지 않지만, language modeling을 주요 사례로 설정하여 설명합니다. 아래는 language modeling 문제에 대한 간략한 설명과, 특정 작업(task)-기반 프롬프트가 주어졌을 때 조건부 확률을 최대화하는 작업에 대한 개요입니다.

 

사전 학습된 autoregressive language model PΦ(y∣x)이 주어졌다고 가정합니다. 여기서 Φ는 모델의 매개변수를 나타냅니다. 예를 들어, PΦ(y∣x))는 Transformer architecture(Vaswani et al., 2017)를 기반으로 한 GPT(Radford et al., b; Brown et al., 2020)와 같은 일반적인 multi-task learner일 수 있습니다. 이러한 사전 학습된 모델을 다음과 같은 downstream conditional text generation tasks에 적응시키는 것을 고려합니다:

• summarization (요약)
• machine reading comprehension (MRC)
• natural language to SQL (NL2SQL)

각 downstream task는 context-target 쌍의 training dataset Z={(xi,yi)}i=1,..,N으로 표현됩니다. 여기서 xi와 yi는 모두 토큰의 시퀀스입니다.

 

예를 들어:

• NL2SQL에서는 xi가 자연어 쿼리이고 yi는 해당 SQL 명령입니다.
• summarization에서는 xi가 기사 내용이고 yi는 그 요약입니다.

 

Full Fine-Tuning

full fine-tuning 과정에서는 모델이 사전 학습된 가중치 Φ0로 초기화되고, 조건부 언어 모델링 목표를 최대화하기 위해 경사를 반복적으로 따르며 업데이트됩니다. 다음 식이 이를 나타냅니다.

그러나 full fine-tuning의 주요 단점은, 각 downstream task마다 ∣ΔΦ∣=∣Φ0∣인 별도의 매개변수 세트 ΔΦ를 학습해야 한다는 점입니다. 따라서 사전 학습된 모델이 매우 클 경우(예: GPT-3에서 ∣Φ0∣≈175 Billion), 여러 fine-tuned 모델 인스턴스를 저장하고 배포하는 것은 매우 어렵거나 불가능할 수 있습니다.

Parameter-Efficient Approach

이 논문에서는 더 효율적인 매개변수 접근 방식을 채택합니다. 여기서 task-specific parameter increment ΔΦ=ΔΦ(Θ)는 훨씬 더 작은 크기의 매개변수 집합 Θ로 인코딩됩니다 (∣Θ∣≪∣Φ0∣). 결과적으로, ΔΦ를 찾는 문제는 Θ를 최적화하는 문제로 변환됩니다.

Low-Rank Representation 제안

이후 섹션에서는 ΔΦ를 low-rank representation으로 인코딩하는 방법을 제안합니다. 이는 계산 및 메모리 효율적입니다. 예를 들어, 사전 학습된 모델이 GPT-3 175B일 경우, 학습 가능한 매개변수 ∣Θ∣는 ∣Φ0∣의 0.01%만큼 작을 수 있습니다.

---

Aren’t Existing Solutions Good Enough? (기존 솔루션은 충분히 좋은가?)

우리가 해결하려는 문제는 새로운 것이 아닙니다. Transfer learning이 등장한 이후, 수많은 연구들이 모델 적응을 매개변수 및 계산 효율적으로 만드는 방법을 모색해 왔습니다. 언어 모델링을 예로 들면, 효율적인 적응을 위해 다음 두 가지 주요 전략이 사용됩니다:

1. Adapter Layers 추가(Houlsby et al., 2019; Rebuffi et al., 2017; Pfeiffer et al., 2021; Rücklé et al., 2020)
2. 입력 계층 활성화(activations) 최적화(Li & Liang, 2021; Lester et al., 2021; Hambardzumyan et al., 2020; Liu et al., 2021)

그러나 이러한 두 가지 전략은 특히 대규모 및 지연(latency)에 민감한 프로덕션 환경에서 한계를 가지고 있습니다.

 

Adapter Layers는 추론 지연(Inference Latency)을 초래

Adapter에는 여러 변형이 존재합니다. 우리는 Houlsby et al. (2019)의 두 개의 어댑터 레이어를 Transformer 블록당 추가하는 원래 설계와 Lin et al. (2020)의 하나의 어댑터 레이어와 추가 LayerNorm(Ba et al., 2016)을 사용하는 설계를 중심으로 논의합니다.

• 장점과 한계:그러나 대규모 신경망에서는 하드웨어 병렬 처리를 통해 지연을 줄이지만, adapter layers는 순차적으로 처리되어야 합니다.
• 이로 인해 온라인 추론 환경에서 배치 크기가 1일 경우 눈에 띄는 지연이 발생할 수 있습니다.
• Adapter layers는 bottleneck dimension(좁은 차원)을 사용해 모델 매개변수의 양을 줄입니다(종종 원래 모델의 1% 미만).
• GPT-2 예시:
  • 모델 병렬 처리가 없는 경우, GPT-2 medium에서 adapter layers는 작은 bottleneck dimension을 사용해도 추론 지연을 유발합니다(Table 1 참조).
• 문제 심화:
  • 모델을 shard(분할)해야 하는 경우(Shoeybi et al., 2020; Lepikhin et al., 2020), 추가된 깊이는 더 많은 동기 GPU 연산(AllReduce 및 Broadcast)을 요구합니다. Adapter 매개변수를 여러 번 중복 저장하지 않는 한, 이 문제는 더욱 악화됩니다.

 

프롬프트 최적화는 어렵다 (Directly Optimizing the Prompt is Hard)

프리픽스 튜닝(prefix tuning; Li & Liang, 2021)의 사례에서 볼 수 있듯, 프롬프트 최적화는 또 다른 어려움을 겪습니다:

1. 최적화의 어려움: Prefix tuning의 성능은 학습 가능한 매개변수의 수에 따라 비선형적으로 변화합니다. 이는 기존 논문에서도 유사한 관찰이 보고되었습니다.
2. 시퀀스 길이의 제약: 적응을 위해 시퀀스 길이의 일부를 예약해야 하므로, downstream task에서 사용할 수 있는 시퀀스 길이가 줄어듭니다. 이는 프롬프트 튜닝이 다른 방법에 비해 성능이 낮은 원인으로 추정됩니다.

결론: Adapter layers와 prefix tuning은 각각 고유한 한계를 가지며, 특히 대규모 프로덕션 환경에서는 효율성과 성능 간의 균형을 맞추기 어렵습니다. 이러한 문제점은 LoRA와 같은 새로운 접근법이 필요함을 보여줍니다.

Table 1: GPT-2 Medium의 단일 Forward Pass 추론 지연 이 표는 NVIDIA Quadro RTX8000에서 GPT-2 medium 모델의 단일 forward pass에 대한 추론 지연(inference latency)을 밀리초(ms) 단위로 측정한 결과를 보여줍니다. 모든 값은 100번의 실험을 평균 낸 것입니다. “∣Θ∣”는 어댑터 레이어의 학습 가능한 매개변수의 수를 나타냅니다. AdapterL과 AdapterH는 어댑터 튜닝의 두 가지 변형이며, 어댑터 레이어로 인해 발생하는 추론 지연은 특히 온라인 환경 및 짧은 시퀀스 길이 의 시나리오에서 유의미할 수 있습니다.

---

Our Method (우리의 방법)

LoRA의 단순한 설계와 실질적인 이점을 설명합니다. 여기서 설명하는 원칙은 딥러닝 모델의 모든 밀집 계층(dense layers)에 적용될 수 있지만, 이 논문에서는 Transformer 언어 모델의 특정 가중치에 초점을 맞추고 실험합니다.

Low-Rank-Parameterized Update Matrices (저랭크 매개변수화 업데이트 행렬)

딥러닝 모델은 여러 밀집 계층을 포함하며, 이 계층의 가중치 행렬은 일반적으로 풀랭크(full-rank)입니다. Aghajanyan et al. (2020)은 사전 학습된 언어 모델이 낮은 "intrinsic dimension(내재적 차원)"을 가지며, 작은 하위 공간으로의 랜덤 투영에도 효율적으로 학습할 수 있음을 보여주었습니다.

가중치 업데이트 또한 낮은 "intrinsic rank(내재적 랭크)"를 가진다고 가정합니다.

 

LoRA의 핵심:

사전 학습된 가중치 행렬 W0∈Rd×kW_0 \in \mathbb{R}^{d \times k}W0∈Rd×k의 업데이트를 저랭크 행렬로 제한하여 다음과 같이 표현합니다.

• 학습 중에는 W0는 고정되고, A와 B만 학습 가능한 매개변수로 사용됩니다.

수정된 순전파(forward pass) 과정은 아래와 같습니다.

Figure 1은 이 재구성 과정을 시각적으로 보여줍니다. 초기화에서 A는 가우시안 분포로, B는 0으로 설정합니다. 학습 초기에 ΔW=0이므로 모델은 사전 학습된 성능과 동일하게 시작합니다.

Figure 1: Our reparametriza-tion. We only train Aand B.

스케일링 및 최적화

ΔWx를 α\r로 스케일링합니다. 여기서 α는 상수이고, r은 랭크입니다. Adam 옵티마이저를 사용할 때 α 튜닝은 학습률 조정과 유사한 역할을 하므로, 초기 α를 설정한 후 추가 튜닝 없이 학습을 진행할 수 있습니다.

 

Full Fine-Tuning의 일반화

LoRA는 사전 학습된 가중치 행렬에 대한 업데이트가 적응(adaptation) 동안 풀랭크일 필요가 없음을 의미합니다. LoRA를 모든 가중치 행렬에 적용하고 bias를 학습하면, LoRA의 랭크 r을 사전 학습된 가중치 행렬의 랭크로 설정하여 full fine-tuning의 표현력을 대체할 수 있습니다.

결과적으로, 학습 가능한 매개변수를 증가시키면 LoRA는 원래 모델의 학습과 동일한 수준으로 수렴할 수 있습니다. 반면, adapter-based 방법은 MLP로 수렴하며, prefix-based 방법은 긴 입력 시퀀스를 처리할 수 없게 됩니다.

 

추론 시 추가 지연 없음 (No Additional Inference Latency)

프로덕션에서 LoRA를 배포할 때, W = W0+BA 를 명시적으로 계산하고 저장하여 일반적인 추론처럼 수행할 수 있습니다.

다른 downstream task로 전환하려면 BA를 빼고 B′A′를 추가하는 방식으로 빠르게 전환할 수 있습니다. 이는 추론 지연 없이 작업 간 전환을 가능하게 합니다.

 

Applying LoRA to Transformer (Transformer에 LoRA 적용)

LoRA는 신경망의 가중치 행렬 일부에 적용하여 학습 가능한 매개변수의 수를 줄일 수 있습니다. Transformer 아키텍처에서 다음과 같은 가중치 행렬이 존재합니다:

• Self-attention 모듈: Wq,Wk,Wv,Wo
• MLP 모듈: 두 개의 가중치 행렬

우리는 downstream tasks에서 self-attention의 가중치만 적응시키고, MLP 모듈은 학습하지 않고 고정합니다. 이는 설계를 단순화하고 매개변수 효율성을 높이기 위함입니다. (Section 7.1에서 self-attention 가중치 조정의 영향을 추가적으로 연구)

 

Practical Benefits and Limitations (실질적 이점과 한계)

1. 메모리 및 저장 공간 절약
   • GPT-3 175B의 경우, VRAM 사용량을 1.2TB에서 350GB로 줄입니다.
   • Checkpoint 크기를 약 10,000배 감소시킵니다(350GB → 35MB).
2. GPU 요구량 감소 및 속도 향상
   • Full fine-tuning 대비 25% 학습 속도 증가(GPT-3 175B 기준).
   • 대부분의 매개변수에서 경사를 계산할 필요가 없기 때문입니다.
3. 작업 간 전환 용이
   • LoRA 가중치만 교체하여 작업 간 전환 가능.
   • VRAM에 사전 학습된 가중치를 저장한 상태로 다양한 모델을 즉시 전환할 수 있습니다.

한계

1. 서로 다른 A,B를 사용하여 다양한 작업을 배치(batch) 처리하기 어렵습니다.
2. 지연이 중요하지 않은 시나리오에서는 가중치를 병합하지 않고 동적으로 LoRA 모듈을 선택할 수 있습니다.

---

Empirical Experiments (실험 연구)

LoRA를 RoBERTa (Liu et al., 2019), DeBERTa (He et al., 2021), 그리고 GPT-2 (Radford et al., b)에서 평가한 뒤, 이를 GPT-3 175B (Brown et al., 2020)로 확장하여 실험합니다. 실험은 자연어 이해(NLU)부터 생성(NLG) 작업까지 다양한 범위를 다룹니다.

데이터셋 및 작업

1. RoBERTa 및 DeBERTa:
   • GLUE 벤치마크 (Wang et al., 2019)
2. GPT-2:
   • Li & Liang (2021)의 설정을 따름.
3. GPT-3 (대규모 실험):
   • WikiSQL (Zhong et al., 2017): NL-to-SQL 쿼리 변환.
   • SAMSum (Gliwa et al., 2019): 대화 요약(conversation summarization).

추가 정보

데이터셋에 대한 자세한 설명은 Appendix C를 참조하십시오. 모든 실험은 NVIDIA Tesla V100 GPU를 사용하여 수행했습니다.

 

Baselines (기준점)

다양한 기준점과 비교하기 위해, 이전 연구에서 사용된 설정을 복제하고 가능한 경우 보고된 수치를 재사용했습니다. 이로 인해 일부 기준점은 특정 실험에서만 나타날 수 있습니다.

Fine-Tuning (FT)

• 설명: 일반적인 적응(adaptation) 접근법으로, 모델을 사전 학습된 가중치와 bias로 초기화하고 모든 매개변수를 경사 업데이트합니다.
• 변형: 예를 들어, GPT-2에서 Li & Liang (2021)이 보고한 FTTop2는 마지막 두 계층만 적응시키는 방식입니다.
  • 일부 계층만 업데이트하고 나머지는 고정(freeze)하는 간단한 변형도 포함합니다.

Table 2: GLUE 벤치마크에서 RoBERTa와 DeBERTa의 다양한 적응 방법 비교 이 표는 RoBERTa (base 및 large)와 DeBERTa (XXL) 모델에 대해 다양한 적응 방법을 적용한 후 GLUE 벤치마크에서 평가한 결과를 보여줍니다. 평가 지표는 작업별로 다음과 같이 설정되었습니다: MNLI: 전체(matched 및 mismatched) 정확도., CoLA: Matthew’s correlation, STS-B: Pearson correlation, 기타 작업: 정확도(accuracy). 모든 지표는 값이 높을수록 성능이 우수하며, 표에는 이전 연구에서 보고된 결과와 동일한 설정에서 수행된 실험 결과가 포함되어 있습니다(표기: *는 기존 연구 결과, †는 Houlsby et al. (2019)와 유사한 설정).

1. Bias-only or BitFit

• 설명: 이 방법에서는 모든 매개변수를 고정한 상태로 bias 벡터만 학습합니다.
• 관련 연구: BitFit (Zaken et al., 2021)에서 유사한 접근법을 연구했습니다.
• 장점: 매우 적은 학습 가능한 매개변수로 간단히 적용 가능.
• 단점: 성능이 제한적일 수 있음.

2. Prefix-embedding Tuning (PreEmbed)

• 설명: 입력 토큰 사이에 특별한 학습 가능한 토큰을 삽입합니다.
  • Prefixing: 프롬프트 앞에 삽입.
  • Infixing: 프롬프트 뒤에 삽입.
• 학습 가능한 매개변수 수: ∣Θ∣=dmodel×(lp+li),
• lp: prefix 토큰 수, li: infix 토큰 수.
• 성능 영향: 토큰 배치 위치에 따라 성능이 달라질 수 있음(Li & Liang, 2021).

3. Prefix-layer Tuning (PreLayer)

• 설명: Prefix-embedding Tuning의 확장판으로, 특별한 토큰의 임베딩만 학습하는 대신 각 Transformer 레이어에서 활성값(activations)을 학습합니다.
• 학습 가능한 매개변수 수: ∣Θ∣=L×dmodel×(lp+li),L: Transformer 레이어 수.
• 특징: 더 많은 매개변수를 학습하여 성능을 향상시키지만, 계산 비용이 증가.

4. Adapter Tuning

• 설명: Adapter Layers를 Transformer 모듈(self-attention 및 MLP) 사이에 삽입하여 적응합니다.
  • AdapterH (Houlsby et al., 2019): 기본 설계. 두 개의 fully connected layers와 비선형성을 포함.
  • AdapterL (Lin et al., 2020): MLP 모듈 뒤와 LayerNorm 이후에만 어댑터를 적용하여 효율성을 높임.
  • AdapterP (Pfeiffer et al., 2021): AdapterL과 유사한 설계.
  • AdapterD (Rücklé et al., 2020): 일부 어댑터 레이어를 삭제하여 효율성을 높임.
• 학습 가능한 매개변수 수: ∣Θ∣=LAdpt × (2 × dmodel × r + r + dmodel) + 2 × LLN × dmodel,
• LAdpt: 어댑터 레이어 수
• LLN: 학습 가능한 LayerNorm 수.

5. LoRA (Low-Rank Adaptation)

• 설명: 기존의 가중치 행렬과 병렬로 저랭크(rank decomposition) 행렬 쌍을 추가하여 학습합니다.
  • 대부분의 실험에서 Wq와 Wv에만 적용(Section 4.2).
• 학습 가능한 매개변수 수: ∣Θ∣=2×LLoRA×dmodel×r
• LLoRA: LoRA를 적용한 가중치 행렬의 수.

 

RoBERTa Base/Large

RoBERTa(Liu et al., 2019)는 BERT(Devlin et al., 2019a)에서 제안된 사전 학습 방식을 최적화하여, 더 많은 학습 가능한 매개변수를 추가하지 않고도 작업 성능을 향상시켰습니다.

최근 GLUE(Wang et al., 2019)와 같은 NLP 리더보드에서 더 큰 모델들이 RoBERTa를 뛰어넘었지만, RoBERTa는 여전히 크기에 비해 경쟁력 있고 실무자들에게 인기 있는 사전 학습 모델입니다.

• 설정:
  • 우리는 HuggingFace Transformers 라이브러리(Wolf et al., 2020)에서 제공하는 사전 학습된 RoBERTa base (125M)와 RoBERTa large (355M)를 사용했습니다.
  • GLUE 벤치마크 작업에서 다양한 효율적인 적응 방법을 평가했습니다.
• 비교:
  • Houlsby et al. (2019)와 Pfeiffer et al. (2021)의 설정을 복제했습니다.
  • 공정한 비교를 위해 다음 두 가지 중요한 변경을 적용했습니다:
    1. 모든 작업에서 동일한 배치 크기와 128의 시퀀스 길이를 사용해 adapter 기준점과 일치시킴.
    2. MRPC, RTE, STS-B 작업에서 사전 학습된 모델을 초기화하며, MNLI에 이미 적응된 모델을 사용하지 않음(fine-tuning 기준선과 다름).
• 결과:
  • 이 제한된 설정(Houlsby et al., 2019)을 따르는 실험 결과는 Table 2의 상위 3개 섹션에 표시됩니다.
  • 사용된 하이퍼파라미터에 대한 자세한 정보는 Section D.1을 참조하십시오.

 

DeBERTa XXL

DeBERTa(He et al., 2021)는 BERT의 최신 변형으로, 훨씬 더 큰 규모로 학습되었으며 GLUE(Wang et al., 2019) 및 SuperGLUE(Wang et al., 2020)와 같은 벤치마크에서 매우 경쟁력 있는 성능을 보입니다.

• 목표: LoRA가 GLUE 벤치마크에서 **DeBERTa XXL (1.5B)**의 완전 미세 조정(full fine-tuning) 성능에 필적할 수 있는지 평가.
• 결과:
  • Table 2의 하단 섹션에 결과가 표시됩니다.
  • 사용된 하이퍼파라미터에 대한 자세한 내용은 Section D.2를 참조하십시오.

 

GPT-2 Medium/Large

LoRA의 NLU에서의 경쟁력을 입증한 후, 우리는 LoRA가 NLG 모델에서도 여전히 우위를 점할 수 있는지 평가하고자 합니다. 이를 위해 GPT-2 medium 및 large 모델(Radford et al., b)을 실험 대상으로 삼았습니다.

• 설정:
  • Li & Liang (2021)와 직접 비교할 수 있도록 설정을 최대한 동일하게 유지했습니다.
  • 공간 제약으로 인해 이 섹션에서는 E2E NLG 챌린지의 결과만 제시합니다(Table 3).
• 추가 결과:
  • WebNLG (Gardent et al., 2017) 및 DART (Nan et al., 2020)에 대한 결과는 Section F.1을 참조하십시오.
  • 사용된 하이퍼파라미터의 목록은 Section D.3에서 확인할 수 있습니다.

Table 4: GPT-3 175B의 다양한 적응 방법 성능. WikiSQL에서는 logical form validation 정확도를, MultiNLI-matched에서는 validation 정확도를, SAMSum에서는 Rouge-1/2/L 점수를 보고합니다. LoRA는 full fine-tuning을 포함한 기존 방법들보다 더 나은 성능을 보입니다. WikiSQL의 결과는 ±0.5%, MNLI-m은 ±0.1%, SAMSum의 세 가지 지표는 각각 ±0.2/±0.2/±0.1의 변동성을 가집니다.

Scaling Up to GPT-3 175B (GPT-3 175B로 확장)

LoRA의 최종 테스트로, 1750억 개의 매개변수를 가진 GPT-3에 적용하여 평가했습니다.

높은 학습 비용 때문에, 각 작업에 대해 무작위 초기화(seed)로 인한 표준 편차의 전형적인 범위만 보고하며, 모든 결과 항목별 표준 편차를 제공하지는 않습니다.

Table 4에 나타난 것처럼, LoRA는 세 가지 데이터셋 모두에서 fine-tuning 기준선과 동등하거나 이를 초과하는 성능을 보였습니다.

 

특징 및 관찰

1. 매개변수 증가의 비선형적 성능 변화:
   • Figure 2에 나타난 바와 같이, 모든 방법이 학습 가능한 매개변수가 증가할수록 일관되게 성능이 향상되는 것은 아닙니다.
   • Prefix-embedding tuning: 특별 토큰이 256개를 초과하면 성능이 크게 감소.
   • Prefix-layer tuning: 특별 토큰이 32개를 초과하면 성능이 하락.
2. 원인에 대한 가설:
   • 특별 토큰이 많아질수록 입력 분포가 사전 학습 데이터 분포에서 더 멀어지기 때문으로 추정됩니다.
   • 이 현상은 Li & Liang (2021)에서도 유사하게 관찰되었습니다.

LoRA는 대규모 모델(GPT-3 175B)에서도 안정적으로 높은 성능을 발휘하며, 특히 적은 데이터와 다양한 작업 환경에서의 강력한 적응력을 입증했습니다.

Figure 2: GPT-3 175B의 WikiSQL 및 MNLI-matched 작업에서 적응 방법별 학습 가능한 매개변수 수에 따른 검증 정확도 비교. LoRA는 다른 적응 방법들에 비해 더 나은 확장성과 작업 성능을 보여줍니다. 플롯된 데이터 포인트에 대한 자세한 정보는 Section F.2를 참조하십시오.

---

Understanding the Low-Rank Updates (저랭크 업데이트의 이해)

LoRA의 실험적 성능을 기반으로, downstream task에서 학습된 low-rank adaptation의 특성을 설명합니다. Low-rank 구조는 하드웨어 진입 장벽을 낮춰 여러 실험을 병렬로 실행할 수 있게 하며, 업데이트된 가중치(∆W)와 pre-trained 가중치(W) 간의 상관관계를 더 잘 해석할 수 있도록 돕습니다. 우리는 GPT-3 175B를 중심으로 연구하며, 여기서 학습 가능한 매개변수를 최대 10,000배 줄이면서도 task performance를 유지했습니다.

 

또한 LoRA의 성능을 이해하기 위해 다음 질문에 대해 실험적 연구를 수행했습니다.

1. Parameter budget constraint가 있을 경우, pre-trained Transformer의 어떤 weight matrix에 LoRA를 적용해야 downstream performance가 최대화되는가?
2. Optimal adaptation matrix ∆W는 실제로 rank-deficient한가? 그렇다면, 실용적으로 적합한 rank는 무엇인가?
3. ∆W와 W 간의 관계는 무엇인가?
   • ∆W는 W와 얼마나 높은 correlation을 가지는가?
   • ∆W는 W에 비해 얼마나 큰가?

• Question (2)와 Question (3)에 대한 답변은 pre-trained language model을 downstream task에 사용하는 근본 원칙을 이해하는 데 중요한 insight를 제공합니다.

 

Transformer의 어떤 가중치 행렬에 LoRA를 적용해야 하는가?

Parameter budget가 제한될 경우, LoRA를 어떤 weight type에 적용해야 downstream task에서 최고의 성능을 얻을 수 있을까요?

우리는 self-attention module의 weight matrices만 고려했습니다. GPT-3 175B에서 약 18M trainable parameters(FP16 기준 약 35MB)를 기준으로 실험을 설계했습니다.

• r = 8: 하나의 attention weight type에 LoRA를 적용.
• r = 4: 두 가지 attention weight type에 LoRA를 적용.(총 96개의 layers에서 실험.)

Table 5: WikiSQL과 MultiNLI에서 LoRA를 GPT-3의 다양한 attention weight 유형에 적용한 후의 검증 정확도. 동일한 수의 trainable parameters를 사용했을 때, Wq와 Wv를 동시에 적응 시키는 것이 전반적으로 가장 좋은 성능을 보였습니다. 우리는 random seed에 따른 표준 편차가 데이터셋별로 일관된 것을 확인했으며, 이를 첫 번째 열에 보고합니다.

 

모든 parameters를 ∆Wq 또는 ∆Wk에 집중시키는 경우, 성능이 상당히 낮아졌습니다. 반면, Wq와 Wv를 동시에 적응시키는 것이 가장 좋은 결과를 낳았습니다. 이는 rank가 4와 같이 작은 값으로도 ∆W에서 충분한 정보를 캡처할 수 있음을 나타내며, 단일 weight 유형에 더 큰 rank를 적용하는 것보다 여러 weight matrices를 적응시키는 것이 더 바람직하다는 것을 시사합니다.

 

What is the Optimal Rank r for LoRA? (LoRA에 적합한 최적의 Rank r는 무엇인가?)

우리는 rank r가 모델 성능에 미치는 영향을 조사합니다. 이를 위해 다음과 같은 경우를 비교합니다:

• {Wq,Wv}를 적응.
• {Wq,Wk,Wv,Wc}를 적응.
• 단일 {Wq}를 적응.

Table 6: WikiSQL과 MultiNLI에서 rank r 값에 따른 검증 정확도. 놀랍게도, 이 데이터셋에서는 {Wq,Wv}를 적응할 때 rank r=1 과 같은 작은 값으로도 충분한 성능을 달성할 수 있었습니다. 반면, {Wq}만 학습할 경우 더 큰 r 값이 필요했습니다.

 

Table 6의 결과는 다음을 보여줍니다:

• LoRA는 매우 작은 rank r 값으로도 경쟁력 있는 성능을 발휘합니다.
• 특히 {Wq,Wv}를 적응할 때, 단일 {Wq}만 적응하는 경우보다 더 효율적입니다.
• 이는 update matrix ΔW가 매우 작은 "intrinsic rank"를 가질 가능성을 시사합니다.

Subspace Similarity Between Different r

작은 r값으로 LoRA가 높은 성능을 발휘하는 이유를 더 잘 이해하기 위해, 서로 다른 r값에 따른 subspace 간의 유사성을 분석했습니다.

예를 들어, rank r=8에서 학습된 행렬 Ar=8 과 rank r=64에서 학습된 행렬 Ar=64를 비교합니다.

우리는 Singular Value Decomposition(SVD)을 수행하여 각 행렬의 right-singular unitary matrix UAr=8와 Ar=64를 얻습니다.

 

Q. UAr=8에서 상위 i개의 singular vector가 생성하는 subspace가, UAr=64의 상위 j개의 singular vector가 생성하는 subspace에 얼마나 포함되는가?

Normalized Subspace Similarity (정규화된 Subspace 유사성): 이 유사성을 측정하기 위해 Grassmann distance 기반의 정규화된 subspace similarity를 사용합니다.

• Ui: UAr=8에서 상위 i개의 singular vector의 column으로 구성된 matrix.
• Uj: UAr=64에서 상위 j개의 singular vector의 column으로 구성된 matrix.
• ϕ 값의 범위는 [0,1]:
  • 1: 두 subspace가 완전히 겹침.
  • 0: 두 subspace가 완전히 분리됨.

Figure 3: ΔWq와 ΔWv에 대해 Ar=8과 Ar=64의 column vectors 간 subspace 유사성 이 그림은 ΔWq와 ΔWv에 대해 Ar=8과 Ar=64의 column vectors 간의 subspace 유사성을 보여줍니다. 세 번째와 네 번째 그래프는 첫 번째와 두 번째 그래프에서 왼쪽 하단 삼각형 부분 을 확대하여 세부적인 비교를 제공합니다. Rank r=8에서의 주요 방향(top directions)은 r=64의 subspace에 포함되며, 그 반대도 성립합니다. 이는 작은 r 값으로도 중요한 subspace 정보를 효과적으로 캡처할 수 있음을 보여줍니다.

중요한 관찰점 (Figure 3 분석):

1. Top Singular Vector의 중복성:
   • Ar=8과 Ar=64에서 top singular vector 방향은 크게 중복되며, 나머지 방향은 그렇지 않습니다.
   • 특히, Ar=8의 ΔWv와 Ar=64의 ΔWv (또는 ΔWq)는 차원 1의 subspace를 공유하며, 정규화된 유사성 값이 0.5 이상입니다.
   • 이는 rank r=1이 GPT-3의 downstream task에서 우수한 성능을 보이는 이유를 설명합니다.
2. Noise와 유용한 방향:
   • Ar=8과 Ar=64 모두 동일한 pre-trained 모델을 기반으로 학습되었으므로, Figure 3은 Ar=8과 Ar=64의 top singular vector 방향이 가장 유용함을 나타냅니다.
   • 반면, 다른 방향은 학습 중 축적된 random noise가 포함될 가능성이 높습니다.
   • 따라서 adaptation matrix는 실제로 매우 낮은 rank를 가질 수 있습니다.

Rank r=64로 학습된 두 개의 서로 다른 random seed 실행에서 ΔWq와 ΔWv의 정규화된 subspace similarity를 분석했습니다.

• ΔWq:
  • 더 높은 "intrinsic rank"를 나타내며, 두 실행 간 더 많은 공통 singular value 방향을 학습했습니다.
  • 이는 Table 6에서 관찰된 실험 결과와 일치합니다.
• ΔWv:
  • 상대적으로 더 낮은 intrinsic rank를 보이며, 공통 singular value 방향의 수가 적었습니다.
• 비교:
  • 두 개의 random Gaussian matrices에서는 공통 singular value 방향이 전혀 공유되지 않았습니다.

 

How Does the Adaptation Matrix ΔWCompare to W? (W와 W의 관계 분석)

우리는 ΔW와 W간의 관계를 더 자세히 조사합니다.

주요 질문:

1. ΔW는 W와 높은 상관성을 가지는가? (즉, ΔW는 주로 W의 상위 singular directions에 포함되는가?)
2. ΔW는 크기 측면에서 W의 해당 방향과 비교하여 얼마나 "큰가"?

이 질문에 대한 답변은 pre-trained language model의 적응 메커니즘을 이해하는 데 중요한 단서를 제공합니다.

Figure 4: Random Seed 간 및 Random Gaussian Matrices 간 Subspace Similarity 왼쪽과 가운데 그래프는 48번째 레이어에서 random seed가 다른 두 실행에서 ΔWq와 ΔWv의 Ar=64 column vector 간의 정규화된 subspace similarity를 보여줍니다. 오른쪽 그래프는 두 개의 random Gaussian matrices 간 column vector의 subspace similarity를 나타낸 heat-map입니다

• Projection:
  • W를 ΔW의 r-차원 subspace에 투영.
  • 이를 위해 U⊤WV⊤를 계산, 여기서 U/V는 ΔW의 좌/우 singular vector matrix.
• Frobenius Norm 비교:
  • ∥U⊤WV⊤∥F와 ∥W∥F의 값을 비교.
  • 비교를 위해 U,V를 W의 상위 r-singular vectors 또는 random matrix로 대체하여 동일한 계산을 수행.

Table 7: U⊤WqV⊤의 Frobenius Norm 여기서 U와 V는 다음 중 하나에서 가져온 좌/우 r-singular vector 방향입니다: 1. ΔWq, 2. Wq, 3. random matrix 가중치 행렬은 GPT-3의 48번째 레이어에서 가져왔습니다.

Table 7 분석 결과

1. ΔW와 W의 상관성: ΔW는 random matrix보다 W와 더 높은 상관성을 가지며, 이는 ΔW가 W에 이미 존재하는 일부 특징을 증폭(amplify)한다는 것을 나타냅니다.
2. ΔW\의 독특한 방향: ΔW는 WW 상위 singular directions를 반복하지 않고, W에서 덜 강조된 방향을 증폭합니다.
3. 증폭 계수: r=4에서 증폭 계수는 약 21.5≈6.91/0.32로 매우 큽니다. r=64에서 증폭 계수가 더 작습니다.
4. 추가 시각화: Wq의 상위 singular directions를 더 포함할수록 상관성이 어떻게 변화하는지 시각화한 결과를 제공합니다.

Low-rank adaptation matrix는 일반적인 사전 학습 모델에서 학습되었지만 강조되지 않은 중요한 특징을 특정 downstream task에 맞게 증폭하는 역할을 합니다.

---

Conclusion and Future Work (결론 및 미래 작업)

거대한 언어 모델을 fine-tuning하는 것은 필요한 하드웨어와 다양한 작업에 대한 독립 인스턴스를 호스팅하는 데 드는 저장/전환 비용 측면에서 매우 비싸고 비효율적입니다. 우리는 LoRA를 제안하며, 이는 높은 모델 품질을 유지하면서도 추론 지연을 초래하지 않으며 입력 시퀀스 길이를 줄이지 않는 효율적인 적응 전략입니다. 특히, 대부분의 모델 매개변수를 공유함으로써 서비스로 배포될 때 빠른 작업 전환을 가능하게 합니다. 우리는 Transformer 언어 모델에 초점을 맞췄지만, 제안된 원칙은 dense layers를 포함한 모든 신경망에 일반적으로 적용 가능합니다.

 

미래 연구를 위한 여러 방향이 존재합니다:

1. LoRA는 다른 효율적인 적응 방법과 결합될 수 있으며, 이를 통해 상호 보완적인 개선을 제공할 가능성이 있습니다.
2. Fine-tuning 또는 LoRA의 메커니즘은 여전히 명확하지 않습니다. 사전 학습 중 학습된 특징은 어떻게 변환되어 downstream task에서 좋은 성능을 내는가? LoRA는 full fine-tuning보다 이를 더 명확히 설명할 수 있는 기회를 제공합니다.
3. 우리는 대부분 휴리스틱에 의존해 LoRA를 적용할 weight matrices를 선택합니다. 이를 더 체계적으로 수행할 수 있는 방법이 있을까요?
4. 마지막으로, ΔW의 rank-deficiency는 W 역시 rank-deficient할 수 있음을 시사하며, 이는 미래 연구의 영감을 제공할 수 있습니다.