[LLM] Improving Language Understanding by Generative Pre-Training (GPT-1 논문 Review)

이번엔 GPT-1 Model에 데하여 논문을 읽고 공부한 내용을 리뷰해 보겠습니다.

• 이 논문에서는 Transformer 모델에 데한 설명이 포함되어 있습니다. 그래서, 어느정도 Transformer Model에 데한 지식이 잇어야 이해하실수 있습니다. 한번 읽고 와주세요!

[NLP] Transformer Model - 트랜스포머 모델 알아보기

---

Abstract

자연어 이해는 텍스트 함의, 질문 응답, 의미 유사성 평가, 문서 분류와 같은 다양한 작업을 포함합니다. 그러나 이러한 작업을 위한 라벨링된 데이터는 부족한 반면, 대규모의 비지도 텍스트 코퍼스는 풍부하게 존재합니다. 이로 인해 기존의 판별적(discriminative) 모델들은 라벨링된 데이터가 충분하지 않은 상황에서 성능이 떨어지는 문제가 있었습니다.

 

이 논문에서는 이러한 문제를 해결하기 위해 generative pre-training과 discriminative fine-tuning을 결합한 접근법을 제안합니다. 구체적으로는 다음과 같은 방식으로 진행됩니다:

1. Generative Pre-Training:
   • 비지도 학습을 통해 다양한 텍스트 코퍼스에서 언어 모델을 사전 학습하여, 자연스러운 언어 생성 능력을 갖추도록 합니다.
   • 이 과정에서 모델은 일반적인 언어 패턴과 구조를 학습하게 됩니다.
2. Discriminative Fine-Tuning:
   • 사전 학습된 모델을 각 특정 작업에 맞게 미세 조정(fine-tuning) 하여, 태스크 인식 입력 변환을 통해 모델 아키텍처의 최소한의 변경으로도 효율적인 전이를 달성할 수 있도록 합니다.

이 연구는 다양한 자연어 이해 벤치마크에서 해당 접근법의 효과를 입증했습니다. 판별적 학습 모델보다 뛰어난 성과를 거두었다는 것이 특징입니다.

• Commonsense Reasoning (Stories Cloze Test): 8.9% 의 절대적인 성능 향상
• Question Answering (RACE): 5.7%의 절대적인 성능 향상
• Textual Entailment (MultiNLI): 1.5%의 절대적인 성능 향상

---

Introduction

자연어 처리(NLP) 분야에서 원시 텍스트로부터 효과적으로 학습하는 능력은 지도 학습(Supervised Learning)에 대한 의존을 줄이는 데 매우 중요합니다. 기존의 대부분의 딥 러닝(Deep Learning) 방법은 수작업으로 라벨링된 대량의 데이터를 필요로 하지만, 이는 주석(Annotation)이 부족한 여러 도메인에서 적용 가능성을 제한합니다. 이러한 상황에서 비지도(Unsupervised) 데이터를 활용할 수 있는 모델은 라벨링에 대한 시간과 비용을 줄이는 유용한 대안이 될 수 있습니다. 또한, 비지도 방식으로 좋은 표현(Representations)을 학습하는 것은 지도 학습이 가능한 경우에도 성능을 크게 향상시킬 수 있습니다.

 

그리고 사전 학습된 단어 임베딩(Pre-trained Word Embeddings)은 다양한 NLP 작업에서 성능을 향상시키는 데 중요한 역할을 했습니다. 하지만, 단어 수준 이상의 정보를 비지도 텍스트에서 학습하는 데는 두 가지 주요 문제가 있었습니다:

1. 전이 학습(Transfer Learning)에 유용한 텍스트 표현(Textual Representation)을 학습하기 위한 최적화 목표(Objective)를 정의하는 것이 어렵습니다.
   • 최근 연구들은 Language Modeling, Machine Translation, Discourse Coherence와 같은 다양한 목표를 시도해 왔지만, 각 방법은 작업에 따라 다른 성과를 보였습니다.
2. 학습된 표현을 목표 작업(Target Task)에 효과적으로 전이(Transfer)하는 방법에 대한 합의가 부족합니다.
   • 기존의 기술들은 작업 특정 아키텍처 변경(Task-Specific Architecture Modifications)과 정교한 학습 스킴(Training Schemes) 및 보조 학습 목표(Auxiliary Objectives)의 결합을 필요로 하며, 이는 언어 처리를 위한 효과적인 반지도 학습(Semi-Supervised Learning) 접근법을 개발하는 것을 어렵게 만듭니다.

 

그래서, 이 논문에서는 비지도 사전 학습(Unsupervised Pre-Training)과 지도 미세 조정(Supervised Fine-Tuning)을 결합한 반지도 학습 접근법을 제시합니다. 이 접근법의 목표는 최소한의 적응(Minimal Adaptation)을 통해 다양한 작업에 전이될 수 있는 보편적인 표현(Universal Representations)을 학습하는 것입니다. 연구의 두 가지 주요 단계는 다음과 같습니다:

1. Generative Pre-Training:
   • 대규모 비지도 텍스트 코퍼스(Unsupervised Text Corpora)에서 Language Modeling Objective를 사용해 신경망 모델의 초기 파라미터를 학습합니다.
   • 이 과정에서 모델은 일반적인 언어 패턴과 구조를 학습하여 다양한 도메인에 적용 가능한 표현을 얻습니다.
2. Discriminative Fine-Tuning:
   • 사전 학습된 모델의 파라미터를 지도 목표(Supervised Objectives)에 맞게 미세 조정(Fine-Tuning) 합니다.
   • 태스크 특정 입력 변환(Task-Specific Input Adaptations)을 활용하여 모델 아키텍처의 최소한의 변경으로도 효과적인 전이를 가능하게 합니다.

모델 아키텍처 및 전이 학습 기법

Transformer Architecture

이 연구에서는 Transformer 아키텍처를 사용했습니다. Transformer는 Machine Translation, Document Generation, Syntactic Parsing 등 다양한 작업에서 강력한 성능을 보였으며, Recurrent Networks와 같은 대안들보다 장기 의존성(Long-term Dependencies)을 더 잘 처리할 수 있는 구조화된 메모리(Structured Memory)를 제공합니다. 이러한 특성은 다양한 작업에서 전이 성능을 보장하는 데 매우 유리합니다.

 

또한, 전이 학습(Transfer Learning) 중에는 태스크 특정 입력 변환(Task-Specific Input Adaptations)을 통해 구조화된 텍스트 입력(Structured Text Input)을 단일 연속 시퀀스(Single Continuous Sequence)로 처리합니다. 이는 순회 스타일 접근법(Traversal-Style Approaches)을 기반으로 하며, 사전 학습된 모델의 아키텍처를 최소한으로 변경(Minimal Changes)하면서도 효과적인 Fine-Tuning을 가능하게 합니다.

 

본 연구에서는 자연어 추론(Natural Language Inference), 질문 응답(Question Answering), 의미 유사성(Semantic Similarity), 텍스트 분류(Text Classification)의 네 가지 언어 이해 작업에서 이 접근법을 평가했습니다. General Task-Agnostic Model은 각 작업에 맞춰 설계된 판별적 학습 모델을 능가했으며, 연구된 12개의 작업 중 9개에서 최첨단 기술(State-of-the-Art)을 크게 개선했습니다. 주요 성과는 다음과 같습니다:

• Commonsense Reasoning (Stories Cloze Test)에서 8.9%의 성능 향상
• Question Answering (RACE)에서 5.7%의 성능 향상
• Textual Entailment (MultiNLI)에서 1.5%의 성능 향상
• GLUE Benchmark에서 5.5%의 절대적인 성능 향상

또한, 네 가지 다른 설정에서 사전 학습된 모델의 제로샷 행동(Zero-Shot Behavior)을 분석하여, 모델이 다운스트림 작업(Downstream Tasks)을 위한 유용한 언어적 지식(Linguistic Knowledge)을 습득하고 있음을 보여주었습니다.

---

Related Work

Semi-Supervised Learning

Semi-supervised learning은 라벨링(Labeling)과 텍스트 분류(Text Classification)와 같은 다양한 작업에서 많은 관심을 받아온 연구 분야입니다. 본 논문이 발표되기 전까지의 최신 연구들은 unlabeled data를 ELMo와 같은 모델에서 단어 수준의 정보를 학습하는 데 활용했습니다. 그러나 본 연구의 목표는 이러한 단어 수준에 머무는 것이 아니라, 비지도 데이터(Unlabeled Data)를 구(Phrase)나 문장 수준(Sentence Level)에서 더 높은 수준으로 활용하여 의미를 포착하는 것입니다.

Unsupervised Pre-Training

Unsupervised pre-training의 목적은 초기 좋은 표현(Representation)을 찾는 데 있습니다. 이렇게 학습된 표현은 supervised learning 단계에서 더 잘 동작하게 만듭니다. 최근 연구들은 이미지 분류(Image Classification), 음성 인식(Speech Recognition), 기계 번역(Machine Translation) 등 여러 분야에서 pre-training이 매우 유용하다는 것을 입증했습니다. 하지만, 기존의 LSTM과 같은 모델들은 긴 문장을 처리하는 능력이 부족하여, 언어의 정보를 충분히 수용할 수 없다는 한계가 있었습니다.

 

반면, 본 논문에서는 Transformer 아키텍처를 사용하여 긴 문장 구조를 효과적으로 캡처할 수 있음을 실험을 통해 증명했습니다. 이 모델은 natural language inference, paraphrase detection, story completion 등의 다양한 언어 이해 작업에서도 뛰어난 성능을 보여주었습니다.

Auxiliary Training Objectives

본 논문에서는 unsupervised pre-training의 목적 함수(Objective Function)를 supervised fine-tuning 단계에서 auxiliary objective로 추가했습니다. 즉, 단순히 supervised learning의 목적 함수에 unsupervised learning 목적 함수를 더해주었으며, 이를 auxiliary objective라고 표현합니다.

 

이러한 방법론은 이미 여러 연구에서 좋은 성과를 내며 그 효과를 입증했습니다. 본 논문에서도 Generative Pre-Training을 통해 학습된 표현이 fine-tuning 과정에서 효과적으로 활용될 수 있도록 하여, 전이 성능을 높이는 데 성공했습니다.

---

Framework

본 연구의 학습 절차는 두 단계로 구성됩니다:

1. 비지도 사전 학습(Unsupervised Pre-Training): 대규모 텍스트 코퍼스를 이용해 고용량 언어 모델 합니다.
2. 지도 미세 조정(Supervised Fine-Tuning): 이후 라벨링된 데이터를 사용하여 모델을 판별적(discriminative) 작업에 맞추어 조정합니다.

Unsupervised pre-training (비지도 사전 학습)

비지도 토큰 코퍼스 U={u1,...,un}가 주어졌을 때, 우리는 표준 언어 모델링 목표를 사용하여 다음 가능도를 최대화합니다.

여기서 k는 컨텍스트 윈도우의 크기이며, 조건부 확률 P는 매개변수 Θ를 사용하는 신경망으로 모델링됩니다.

이러한 매개변수들은 확률적 경사 하강법(stochastic gradient descent)을 사용하여 학습됩니다.

 

우리의 실험에서는 언어 모델로서 다층 Transformer 디코더를 사용합니다. 이는 Transformer의 변형으로, 입력 컨텍스트 토큰에 대해 다중 헤드 self-attention 작업을 적용하고, 위치별 피드포워드 레이어를 통해 목표 토큰에 대한 출력 분포를 생성합니다.

여기서 U=(u−k,...,u−1)는 토큰의 컨텍스트 벡터, n은 레이어 수, We는 토큰 임베딩 행렬, Wp는 위치 임베딩 행렬입니다.

https://wikidocs.net/162096

Supervised fine-tuning (지도 미세 조정)

Unsupervised pre-training (비지도 사전 학습) 의 목표로 모델을 학습한 후, 우리는 매개변수를 지도 목표 작업에 맞게 적응시킵니다. 라벨링된 데이터셋 C가 주어졌다고 가정하며, 여기서 각 인스턴스는 입력 토큰 시퀀스 x1, ... ,xm 과 라벨 y로 구성됩니다.

입력은 사전 학습된 모델을 통과하여 최종 Transformer 블록의 활성화값 h^m_l 을 얻으며, 이는 y를 예측하기 위해 매개변수 Wy를 가진 추가 선형 출력 레이어에 입력됩니다.

이로써 다음 목표를 최대화할 수 있습니다.

우리는 또한 미세 조정 시 언어 모델링을 보조 목표로 포함하는 것이 (a) 지도 모델의 일반화를 개선하고 (b) 수렴 속도를 가속화하는 데 도움이 된다는 것을 발견했습니다. 이는 이러한 보조 목표를 포함했을 때 성능이 향상된다는 것을 관찰한 이전 연구 결과와 일치합니다.

구체적으로, 우리는 다음과 같은 목표를 최적화합니다 (가중치 λ와 함께).

반적으로, 미세 조정 동안 필요한 추가 매개변수는 Wy와 구분 토큰의 임베딩 입니다.

(왼쪽 그림) 이 연구에서 사용된 Transformer 아키텍처 (오른쪽 그림) 서로 다른 작업에 대한 미세 조정을 위한 입력 변환. 우리는 모든 구조화된 입력을 사전 학습된 모델이 처리할 수 있는 토큰 시퀀스로 변환한 뒤, 선형+소프트맥스 레이어를 거치게 합니다.

 

Transformer Decoder part 보충설명 그림.

Task-Specific Input Transformations (태스크 특정 입력 변환)

• 텍스트 분류(Text Classification)와 같은 작업에서는 사전 학습된 모델을 직접 미세 조정할 수 있습니다. 그러나 질문 응답(Question Answering)이나 텍스트 함의(Textual Entailment)처럼 구조화된 입력(Structured Input)을 필요로 하는 작업은 몇 가지 수정이 필요합니다.
• 기존 연구들은 전이된 표현 위에 태스크 특정 아키텍처(Task-Specific Architecture)를 추가하는 방식을 제안했으나, 이는 추가적인 커스터마이징(Customization)을 요구하고, 그에 따른 학습 부담이 늘어나는 단점이 있었습니다.

본 연구에서는 Traversal-Style 접근법을 사용해 구조화된 입력을 사전 학습된 모델이 처리할 수 있는 연속된 시퀀스(Continuous Sequence)로 변환했습니다. 이를 통해 아키텍처 변경을 최소화하고 다양한 작업에서 일관된 전이 학습을 가능하게 했습니다.

---

Experiments

Setup - Unsupervised Learning

본 연구는 언어 모델 학습을 위해 BooksCorpus 데이터셋을 사용했으며, 이 데이터셋은 7,000권 이상의 미출판 도서로 구성되어 모험, 판타지, 로맨스 등 다양한 장르의 긴 연속 텍스트를 포함합니다. 이를 통해 모델이 장기 문맥을 학습하고, 문맥적 연속성을 유지할 수 있습니다.

 

반면, ELMo가 사용하는 1B Word Benchmark는 문장 단위로 셔플되어 장기 구조를 학습하기 어려운 한계가 있습니다. BooksCorpus는 이를 극복하여 장기 정보를 조건화하는 학습에 유리한 환경을 제공합니다.

또한, 본 연구의 모델은 BooksCorpus에서 18.4의 낮은 토큰 수준 Perpexity(퍼플렉시티)를 달성하며, 정확한 다음 토큰 예측을 가능하게 했습니다. 이는 효과적인 언어 표현 학습을 지원하는 데이터셋의 특성을 잘 보여줍니다.

Perpexity(퍼플렉시티)?

LM이 얼마나 높은 확률로 문장을 생성했는지를 보여주는 지표입니다. Perplexity 문장 생성확률의 역수를 취함으로 낮을수록 좋은값 이라고 합니다. 하지만 '문장 생성 확률' 이라는 것은 데이터마다 다를 수 있습니다. (ex. domain마다 쓰이는 단어나 구가 다를 것으므로). 따라서 일반적인 성능을 평가하기에는 한계가 있다고 알려져 있지만 많이 쓰이는 지표입니다.

모델 사양

본 연구에서 사용한 모델 아키텍처는 Transformer의 구조를 기반으로 하며, 디코더 전용 Transformer로 12개의 레이어로 구성되어 있습니다. 주요 설정은 다음과 같습니다:

• Self-Attention: 마스크드 self-attention 헤드를 사용했으며, 768 차원의 상태(hidden state)와 12개의 attention 헤드를 적용했습니다.
• Feedforward 네트워크: 3072 차원의 내부 상태를 사용하여 각 레이어에서 위치별 피드포워드 네트워크를 구성했습니다.
• 최적화 및 학습률 스케줄링: Adam 옵티마이저를 사용했으며, 최대 학습률을 2.5e-4로 설정했습니다. 학습률은 초기 2000번의 업데이트 동안 선형적으로 증가하고, 이후 코사인 스케줄로 감소시켰습니다.
• 학습 설정:
  • 미니배치: 64개의 미니배치로 512개의 토큰 시퀀스를 샘플링하여 100 에포크 동안 학습했습니다.
  • 드롭아웃: 잔여(residual), 임베딩(embedding), attention 레이어에 0.1의 드롭아웃 비율을 적용했습니다.
  • 정규화: 수정된 L2 정규화를 사용했으며, 비편향(non-bias) 가중치에 대해 w=0.01로 설정했습니다.
• 활성화 함수: Gaussian Error Linear Unit (GELU)을 사용했습니다.
• 위치 임베딩: 원래의 사인파 방식 대신 학습된 위치 임베딩(learned positional embeddings)을 사용했습니다.
• 토크나이징: BooksCorpus의 텍스트는 ftfy 라이브러리로 정리하고 spaCy 토크나이저로 처리했습니다. Byte Pair Encoding (BPE)를 사용하여 40,000개의 병합 어휘를 생성했습니다.

12 layers
768dim | 12 heads | 3072 FFN intermediate
Adam Optimizer with linear scheduling
train for 100 epochs on minibatches of 64 randomly sampled, contiguous sequences of 512 tokens (=max_len)
bytepair encoding (BPE) vocabulary with 40,000 merges
Gaussian Error Linear Unit (GELU)
PE : learned position embeddings

Fine-Tuning(미세 조정) 세부 사항

미세 조정(Fine-Tuning) 단계에서는 대부분 비지도 사전 학습(Unsupervised Pre-Training)에서 설정한 하이퍼파라미터를 그대로 사용했습니다. 주요 세부 사항은 다음과 같습니다:

• 드롭아웃: 분류기(Classifier)에 0.1의 드롭아웃을 추가했습니다.
• 학습률 및 배치 크기:
  • 학습률: 6.25e-5
  • 배치 크기: 32
• 학습 효율: 대부분의 작업에서 3 에포크의 학습으로 충분한 성능을 발휘했습니다.
• 학습률 스케줄링: 0.2%의 학습 동안 워밍업(warm-up)과 선형 학습률 감소 스케줄을 사용했습니다.
• 보조 목표 가중치 (λ\lambdaλ): 0.5로 설정했습니다.

Supervised Fine-Tuning

본 연구에서는 자연어 추론(Natural Language Inference), 질문 응답(Question Answering), 의미 유사성(Semantic Similarity), 텍스트 분류(Text Classification)와 같은 다양한 지도 학습(Supervised Learning) 작업에서 실험을 수행했습니다. 특히, GLUE 다중 작업 벤치마크(GLUE Multi-Task Benchmark)에 포함된 작업을 활용하여 모델의 성능을 평가했습니다.

 

자연어 추론 (Natural Language Inference, NLI)

자연어 추론(NLI)는 텍스트 함의 인식(Textual Entailment Recognition)으로도 알려져 있으며, 두 개의 문장을 비교하여 함의(Entailment), 모순(Contradiction), 중립(Neutral) 중 하나로 관계(Relationship)를 판단하는 작업입니다. 이 작업은 어휘적 함의(Lexical Entailment), 공동 참조(Coreference), 어휘적 및 구문적 모호성(Lexical and Syntactic Ambiguity) 등의 다양한 언어 현상으로 인해 여전히 어려운 과제로 간주됩니다.

 

본 연구에서는 다양한 출처에서 수집된 다섯 개의 데이터셋을 통해 NLI 작업을 평가했습니다:

• SNLI (Stanford Natural Language Inference): 이미지 캡션을 기반으로 한 텍스트
• MNLI (Multi-Genre Natural Language Inference): 음성 전사, 대중 소설, 정부 보고서 등 다양한 출처의 텍스트
• QNLI (Question Natural Language Inference): 위키피디아 문서를 기반으로 한 텍스트
• SciTail: 과학 시험 문제
• RTE (Recognizing Textual Entailment): 뉴스 기사 및 정부 보고서 기반의 작은 데이터셋

실험 결과

Table 2 : 자연어 추론 작업에 대한 실험 결과를 보여주며, 우리 모델과 현재 최첨단 방법들을 비교한 것입니다. 여기서 "5x"는 5개의 모델로 구성된 앙상블을 나타냅니다. 모든 데이터셋은 정확도를 평가 지표로 사용합니다.

Table 2의 실험 결과는 본 연구의 모델이 기존의 최첨단 방법(State-of-the-Art Approaches)과 비교해 NLI 작업에서 강력한 성능을 보였음을 보여줍니다. 다음은 주요 성과 요약입니다:

• MNLI: 1.5% 절대 성능 향상
• SciTail: 5% 절대 성능 향상
• QNLI: 5.8% 절대 성능 향상
• SNLI: 0.6% 절대 성능 향상

위 결과들은 본 연구의 모델이 여러 문장을 넘나드는 추론을 더 잘 수행하며, 언어적 모호성(Linguistic Ambiguity)을 처리하는 데 탁월한 능력을 보유하고 있음을 시사합니다.

RTE에서는 2490개의 예제로 구성된 비교적 작은 데이터셋에서 56%의 정확도를 달성했습니다. 이는 다중 작업 biLSTM 모델(Multi-Task biLSTM Model)이 보고한 61.7%보다 낮은 성능입니다. 하지만, 본 연구의 모델이 더 큰 NLI 데이터셋에서는 탁월한 성능을 보였기 때문에, 다중 작업 학습(Multi-Task Learning)을 통해 추가적인 이점을 얻을 가능성이 높습니다. 다만, 현재로서는 이 가능성을 깊이 탐구하지 않았습니다.

 

질문 응답 및 상식 추론 (Question Answering and Commonsense Reasoning)

Table 3 : 질문 응답 및 상식 추론에 대한 결과를 나타내며, 우리 모델과 현재 최첨단 방법들을 비교한 것입니다. 여기서 "9x"는 9개의 모델로 구성된 앙상블을 의미합니다.

질문 응답(Question Answering)은 단일 문장 및 다중 문장 추론(Single and Multi-Sentence Reasoning)을 요구하는 작업으로, 긴 범위의 컨텍스트(Context)를 처리할 수 있는 모델의 성능을 평가하기에 적합합니다. 본 연구에서는 RACE 데이터셋을 사용했습니다. RACE는 중학교와 고등학교 시험의 영어 지문을 기반으로 한 질문 응답 데이터셋으로, CNN이나 SQuAD와 같은 다른 데이터셋보다 다양한 유형의 추론을 포함하고 있습니다. 이를 통해 긴 문맥(Long Context)을 처리하도록 학습된 모델을 평가할 수 있었습니다.

또한, Story Cloze Test에서도 평가를 수행했는데, 이 작업은 두 가지 선택지 중 올바른 이야기 결말을 선택하는 것을 포함합니다. 이 두 작업에서 본 연구의 모델은 이전 최고 성과를 상당히 초과하는 성능을 보였습니다:

• Story Cloze Test: 8.9%의 성능 향상
• RACE: 전체적으로 5.7%의 성능 향상

이러한 결과는 본 연구의 Generative Pre-Training 모델이 긴 범위의 컨텍스트를 효과적으로 처리할 수 있음을 시사합니다.

 

의미 유사성 (Semantic Similarity)

의미 유사성(Semantic Similarity) 작업은 두 문장이 의미적으로 동등한지 아닌지를 예측하는 것입니다.

이 작업은 개념의 재표현(Paraphrasing)을 인식하고, 부정 표현(Negation)을 이해하며, 구문적 모호성(Syntactic Ambiguity)을 처리하는 능력이 요구됩니다. 본 연구에서는 세 가지 데이터셋을 사용하여 평가를 진행했습니다:

• Microsoft Paraphrase Corpus (MRPC)
• Quora Question Pairs (QQP)
• Semantic Textual Similarity Benchmark (STS-B)

본 연구의 모델은 세 개의 의미 유사성 작업 중 두 개에서 최첨단 성능을 달성했으며, 특히 STS-B에서는 1포인트의 절대적인 성능 향상을 기록했습니다. QQP에서는 기존 Single-task BiLSTM + ELMo + Attn 모델에 비해 4.2%의 성능 향상을 보여주며, 이 작업에서의 두드러진 성과를 입증했습니다.

분류 (Classification)

마지막으로, 연구는 두 가지 텍스트 분류 작업에서 평가를 수행했습니다.

Table 4 : 의미 유사성과 분류 결과를 나타내며, 우리 모델과 현재 최첨단 방법들을 비교한 것입니다. 이 표에 나와 있는 모든 작업 평가들은 GLUE 벤치마크를 사용하여 수행되었습니다.

• Corpus of Linguistic Acceptability (CoLA): 문장이 문법적으로 올바른지에 대한 전문가의 판단을 포함하며, 모델의 내재된 언어적 편향(Linguistic Bias)을 테스트하는 데 사용됩니다.
• Stanford Sentiment Treebank (SST-2): 표준 이진 분류(Binary Classification) 작업으로, 긍정 및 부정 감정 분석을 평가합니다.

본 연구의 모델은 CoLA에서 45.4의 점수를 기록하며, 이전 최고 성과인 35.0을 크게 능가했습니다. 이는 모델이 내재된 언어적 편향을 잘 학습했음을 보여줍니다. SST-2에서는 91.3%의 정확도를 기록하여, 최첨단 결과들과 경쟁할 만한 성과를 냈습니다.

또한, 본 연구의 모델은 GLUE 벤치마크에서 72.8의 점수를 기록하며, 이전 최고 점수인 68.9를 뛰어넘어 상당한 성능 향상을 달성했습니다.

 

전반적인 성과

본 연구의 Generative Pre-Training 접근법은 평가한 12개의 데이터셋 중 9개에서 새로운 최첨단(State-of-the-Art) 결과를 달성했습니다. 특히 앙상블 모델(Ensemble Models)과 비교해도 단일 모델로 더 나은 성능을 보여, 접근법의 효율성과 강력함을 입증했습니다.

또한, 본 접근법은 다양한 크기의 데이터셋에서도 일관되게 우수한 성과를 발휘했습니다.

• 예를 들어 Embedding(임베딩)은 데이터셋 (STS-B, 약 5,700개의 학습 예제)부터 가장 큰 데이터셋 (SNLI, 약 55만 개의 학습 예제)까지 모두에서 우수한 성능을 기록했습니다.

이는  전이 학습(Transfer Learning) 접근법이 다양한 데이터셋 규모와 유형에 적응할 수 있는 유연성과 확장성을 가졌음을 보여줍니다.

---

Analysis

전이된 레이어 수의 영향 (Impact of Number of Layers Transferred)

본 연구에서는 비지도 사전 학습(Unsupervised Pre-Training)에서 학습된 레이어 수를 전이(Transferred)할 때, 지도 대상 작업(Supervised Target Task)에서의 성능에 미치는 영향을 분석했습니다. Figure 2(왼쪽)는 전이된 레이어 수에 따른 MultiNLI와 RACE에서의 성능 변화를 시각적으로 나타냅니다.

주요 결과는 다음과 같습니다:

Figure 2 : (왼쪽) 사전 학습된 언어 모델에서 더 많은 레이어를 전이할 때 RACE와 MultiNLI에서의 효과. (오른쪽) 다양한 작업에서 언어 모델 사전 학습 업데이트에 따른 제로샷 성능의 변화 양상을 보여주는 그래프. 각 작업의 성능은 무작위 추측 베이스라인과 단일 모델로 달성한 현재 최첨단 성능 사이에서 정규화되었습니다.

• 임베딩(Embeddings)을 전이하면 기본적으로 성능이 향상됩니다.
• 각 Transformer 레이어를 추가로 전이할 때마다 MultiNLI에서 전체 전이 시 최대 9%의 성능 이점을 얻을 수 있었습니다.
• 이는 사전 학습된 모델의 각 레이어가 대상 작업을 해결하는 데 유용한 기능을 포함하고 있음을 시사합니다.

이러한 결과는 Generative Pre-Training 접근법이 모델의 계층적 학습 구조(Hierarchical Learning Structure)를 활용해, 다양한 수준의 언어적 패턴과 특징을 효과적으로 전이할 수 있음을 보여줍니다. 전이되는 레이어가 많아질수록 더 많은 유용한 기능이 보존되며, 이를 통해 대상 작업에서 일관된 성능 향상을 제공할 수 있습니다.

Table 5 : 다양한 작업에서의 모델 절단 분석 결과를 나타냅니다. 평균 점수(Avg. score)는 모든 결과의 가중치가 없는 평균입니다.

제로샷 행동 (Zero-shot Behaviors)

본 연구에서는 Transformer의 언어 모델 사전 학습이 왜 효과적인지에 대한 이해를 높이고자 제로샷(Zero-Shot) 행동을 분석했습니다. 제로샷 학습이란, 지도 미세 조정(Supervised Fine-Tuning) 없이 사전 학습된 모델이 다양한 작업을 수행할 수 있는 능력을 의미합니다.

 

하나의 가설은 기본 생성 모델(Generative Model)이 언어 모델링 능력을 향상시키기 위해 학습되는 과정에서 우리가 평가하는 많은 작업을 수행하도록 학습된다는 것입니다. 또한, Transformer의 구조화된 주의 메모리(Attentional Memory)가 LSTM과 비교했을 때 전이(Transfer)에 도움이 된다는 점도 주목했습니다.

 

또한 생성 모델을 사용하여 지도 미세 조정 없이 여러 작업을 수행할 수 있는 휴리스틱 솔루션(Heuristic Solutions)을 설계했습니다. Figure 2(오른쪽)에서는 생성 사전 학습 동안 이러한 휴리스틱의 성능을 시각적으로 나타냈습니다. 실험 결과, 휴리스틱 성능이 학습 과정 동안 안정적이고 꾸준히 증가하는 경향을 보였으며, 이는 생성 사전 학습이 다양한 작업과 관련된 기능 학습(Feature Learning)을 지원한다는 것을 시사합니다.

 

특히, LSTM은 제로샷 성능에서 높은 변동성을 보였는데, 이는 Transformer 아키텍처의 귀납적 편향(Inductive Bias)이 전이 학습에 더 유리하다는 점을 강조합니다.

작업별 휴리스틱 예시

• CoLA (언어적 허용성): 생성 모델이 할당한 평균 토큰 로그-확률로 예제를 점수화하고 임계값(Threshold)을 기준으로 예측합니다.
• SST-2 (감정 분석): 각 예제에 토큰 "very"를 추가하고, "positive"와 "negative"로 출력 분포를 제한하여 더 높은 확률을 할당한 토큰을 예측값으로 선택합니다.
• RACE (질문 응답): 문서와 질문을 조건으로 하여 가장 높은 평균 토큰 로그-확률을 할당한 답변을 선택합니다.
• DPRD (Winograd Schemas): 정관사 대명사를 두 가지 가능한 참조어로 대체하고, 생성 모델이 더 높은 평균 토큰 로그-확률을 할당한 해석을 예측합니다.

절단 연구 (Ablation Studies)

본 연구에서는 세 가지 절단 연구(Ablation Studies)를 수행하여 모델의 성능에 영향을 미치는 요소를 분석했습니다 (Table 5 참조).

1. 보조 언어 모델링 목표의 영향:
   • 보조 목표(Auxiliary Objective) 없이 미세 조정을 수행할 때의 성능을 분석한 결과, NLI 작업과 QQP에서 보조 목표가 성능을 향상시키는 것으로 나타났습니다.
   • 특히 큰 데이터셋이 보조 목표의 이점을 얻었지만, 작은 데이터셋에서는 이러한 효과가 두드러지지 않았습니다. 이는 대규모 학습 데이터에서 보조 목표가 더 유용하다는 점을 시사합니다.
2.  LSTM과의 비교:
   • 동일한 프레임워크에서 단일 레이어 2048 유닛 LSTM과 Transformer의 성능을 비교한 결과, LSTM을 사용했을 때 평균 점수가 5.6점 하락했습니다.
   • LSTM은 단 하나의 데이터셋(MRPC)에서만 Transformer를 능가했으며, 이는 Transformer의 구조적 이점을 재차 확인시켜줍니다.
3.  사전 학습 없는 모델과의 비교:
   • 사전 학습 없이 지도 대상 작업에 직접 훈련한 Transformer 아키텍처와 비교한 결과, 사전 학습의 부재는 모든 작업에서 성능 저하를 초래했습니다.
   • 사전 학습된 전체 모델과 비교했을 때 성능이 14.8% 감소한 것으로 나타났습니다. 이는 사전 학습(Pre-Training)의 중요성을 분명히 보여줍니다.

---

Conclusion

생성 사전 학습과 판별적 미세 조정을 통해 단일 태스크 비의존 모델로 강력한 자연어 이해를 달성하는 프레임워크를 소개했습니다. 연속된 텍스트로 구성된 다양한 코퍼스에서 사전 학습함으로써, 우리 모델은 상당한 세계 지식과 장기 의존성을 처리하는 능력을 습득하게 되었으며, 이는 질문 응답, 의미 유사성 평가, 함의 결정, 텍스트 분류와 같은 판별적 작업을 해결하는 데 성공적으로 전이되었습니다. 이를 통해 우리가 연구한 12개의 데이터셋 중 9개에서 최첨단 성능을 개선했습니다.

 

판별적 작업에서 성능을 향상시키기 위해 비지도 (사전) 학습을 사용하는 것은 오랫동안 기계 학습 연구의 중요한 목표였습니다. 우리의 연구는 상당한 성능 향상을 달성하는 것이 실제로 가능하다는 것을 시사하며, 어떤 모델(Transformer)과 데이터셋(장기 의존성을 가진 텍스트)이 이 접근 방식과 가장 잘 맞는지에 대한 단서를 제공합니다. 우리는 이것이 자연어 이해와 다른 도메인에서 비지도 학습에 대한 새로운 연구를 가능하게 하여, 비지도 학습이 어떻게, 언제 효과적으로 작동하는지에 대한 이해를 더욱 향상시키기를 기대합니다.