[NLP] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

이번엔, BART Model에 대하여 공부한 내용을 정리해 보겠습니다.

What is BART?

BART 심슨.. 헤헤

BART(Bidirectional and Auto-Regressive Transformers) 모델은 Facebook AI(현 Meta AI)에서 2019년에 소개한 sequence-to-sequence 모델입니다. BART는 BERT와 GPT의 장점을 결합한 모델입니다.

 

BERT 모델의 Bidrectional(양방향)으로 언어 Sequence의 Token들을 Attention 매커니즘에 반영하여 문자를 Encoding 하는 내용, 

GPT의 Generative Decoder를 활용한, 이때까지의 입력을 바탕으로 새로운 출력을 만드는 Generative model 입니다.

정리하면, 기본의 Sequence-to-Sequence Transformer Model을 새로은 Pre-Training Objective를 통해 Train 시켜 하나로 합친 모델입니다.

---

Abstract

BART는 사전 학습 목표로 Denoising Task를 채택하고, Sequence-to-Sequence(Seq2Seq) 아키텍처를 기본으로 하는 모델입니다. BART는 텍스트에 임의의 노이즈를 추가하여 손상시킨 후, 이를 원본 텍스트로 복구하는 방식으로 학습됩니다.

 

Seq2Seq의 Encoder는 BERT와 유사한 양방향 Encoder의 특성을 가지며, Decoder는 GPT와 같은 왼쪽에서 오른쪽으로 작동하는 Auto-Regressive 특성을 지니고 있어, BART는 BERT와 GPT의 장점을 결합한 모델로 볼 수 있습니다.

 

본 논문에서는 다양한 노이징 기법을 평가하여 문장의 순서를 임의로 섞는 것과 Text Infilling 스킴(스팬 단위의 텍스트가 하나의 마스크 토큰으로 치환됨)을 사용할 때 가장 성능이 좋음을 발견하였습니다. BART는 특히 텍스트 생성에 대해 fine-tuned 되었을 때 효율적이며, 이해력 테스트에서도 뛰어난 성능을 보입니다.

 

GLUE와 SQuAD에서 RoBERTa 이상의 성능을, ROUGE 점수에서는 6점 이상 향상시키며, Abstractive Dialogue, Question Answering, Summarization 태스크에서 State-of-the-Art(SOTA)를 달성하였습니다. 또한, ablation 실험을 통해 모델의 성능을 입증하였습니다.

---

Introduction

자기 지도 학습(Self-supervised learning)은 다양한 자연어 처리(NLP) 태스크에서 괄목할 만한 성과를 보여왔습니다.

대표적인 모델로는 Word2Vec, ELMo, BERT, SpanBERT, XLNet, RoBERTa 등이 있으며, 이들 중 가장 성공적인 접근법은 Denoising Autoencoder를 기반으로 한 Masked Language Model(MLM) 변형들입니다.

그러나 기존의 MLM 기반 모델들은 특정 태스크에만 최적화되어 활용성이 제한된다는 단점이 있습니다.

 

MLM 기반 모델들의 주요 한계는 다음과 같습니다:

1. 특정 태스크에 대한 최적화: MLM은 주로 텍스트 이해 태스크에 최적화되어 있어, 텍스트 생성과 같은 다른 범주의 태스크에서는 성능이 제한적일 수 있습니다.
2. 단일 방향성의 한계: BERT와 같은 모델은 Encoder-only 구조로 인해 자연어 생성(NLG) 태스크에서 직접적으로 활용하기 어렵습니다.

본 논문에서는 이러한 한계를 극복하기 위해, Seq2Seq 모델로 구현된 denoising autoencoder인 Bidirectional and Auto-Regressive Transformers, BART를 제안합니다

 

BART는 Bidirectional Encoder와 Auto-Regressive Decoder를 결합한 Seq2Seq(Sequence-to-Sequence) 모델로, BERT와 GPT의 장점을 통합하여 보다 유연하고 강력한 표현력을 지니고 있습니다.

구체적으로, BART는 다양한 noising functions을 적용하여 텍스트를 임의로 변형시키고, 이를 원본 텍스트로 복원하는 Denoising Autoencoder 방식으로 사전 학습됩니다.

(A-좌) BERT, (B-우) GPT

(a) BERT: Random Token 들이 Mask로 대체되고, 문서는 Bidrectional(양방향)으로 Encoding됩니다.
빠진 Toekn들은 독립적으로 예측되기 때문에, BERT는 생성을 위해 쉽게 사용될 수 없습니다.

(b) GPT: Token들은 AutoRegressive(자동 회귀)적으로 예측되어, 생성을 위해 사용될 수 있습니다.
하지만 단어들은 왼쪽 맥락에만 조건을 달 수 있으므로, Bidrectional(양방향) 상호작용을 학습할 수 없습니다.

Figure 1: BART와 BERT (Devlin et al., 2019) 및 GPT (Radford et al., 2018)의 도식적 비교.

(c) BART: Encoder에 대한 입력은 Devoder 출력과 정렬될 필요가 없으며, 임의의 잡음 변환을 허용합니다.
여기에서 문서는 Mask 심볼로 텍스트의 일부분을 대체하여 손상되었습니다. 손상된 문서(왼쪽)는 Bidrectional(양방향) 모델로 Encoding되며, 그 후 원본 문서의 가능성(오른쪽)은 AutoRegressive(자동 회귀) Decoder로 계산됩니다.
Fine-Tuning 시, 손상되지 않은 문서는 Encoder와 Decoder 모두에 입력되고, 우리는 Decoder의 최종 숨겨진 상태에서 표현을 사용합니다.

 

이는 Arbitrary Transformations을 통해 원본 텍스트에 자유롭게 noising을 할 수 있음을 의미하며, 이 말은 어떤 임의의 변형이라도 기존의 Text에 바로 적용될 수 있으며, 길이도 변화시킬 수 있습니다. 여기서 제시하는 최고의 성능을 보이는건 기존 문장 순서를 랜덤하게 섞은 후 임의 길이의 텍스트를 하나의 MASK Token으로 봐꾸는 방법을 제시하고 있습니다.

이 말은 즉, BERT의 기존 방법론인 단어 Masking & Next Sentence Prediction 기법을 일반화 했으며, 모델이 전체적으로 문장의 길이에 데하여 학습 및 변형된 Input에 더 많이 Attention 하는 효과가 있습니다.

 

BART는 특히 Text Generation에 대해 fine-tuning 되었을 때 효율적이지만, Comprehension(이해력) 테스트에서도 뛰어난 성능을 보입니다. SQuAD와 GLUE에서 비슷한 수준의 학습을 하였을 때 RoBERTa의 성능과 비슷하였고, abstractive dialogue, question answering, summarization task에서 sota의 성능을 달성하였다고 합니다. 그 중에서 XSum 데이터셋의 이전 SOTA 성능보다 6ROUGE만큼 성능이 향상되기도 하였습니다. 또한 Fine-Tuning에서 모델에 몇개의 추가적인 transformer 레이어를 쌓아 올리는 것으로 기계 번역에 대한 새로운 방법론을 제시하였습니다. 

---

Model

BART Model은 임의로 변형된 문서의 내용을 원래대로 되돌리는 Denoising Autoencoder 입니다.

구현은 Corrupted Text에 대한 Bidrectional Encoder & Left-to-Right Autogressive Decoder로 구성된 Sequence-to-Sequence 모델로 이루어 졌습니다. Pre-train을 위해서는 원본 문서에 대한 Negative Log-Likelihood(NLL) Loss를 사용했습니다.

Architecture

BART는 표준 Sequence-to-Sequence & Transformer Model 구조를 기반으로 하지만, Activation Function(활성화 함수)를 GPT와 유사하게 GeLU 를 사용한다는 특징이 있습니다.

 

파라미터 초기화는 평균이 0이고 표준편차가 0.02인 정규분포(N(0, 0.02))를 따릅니다.

Base 모델은 Encoder와 Decoder 각각에 6개의 레이어를 사용하고, Large 모델은 12개의 레이어를 사용합니다.

 

구조는 BERT Model과 유사하지만 다른 차이점이 몇가지 존재합니다.

• Decoder의 Cross-Attention: Decoder의 각 레이어가 Encoder의 마지막 Hidden Layer와 Cross-Attention을 수행합니다.
• Feed-Forward Net의 사용: BERT는 Word Prediction을 위해 추가적인 Feed-Forward Net을 사용하지만, BART는 그렇지 않습니다.
• 파라미터 수: 전체적으로 BART는 BERT보다 약 10% 더 많은 파라미터를 가지고 있습니다.

Pre-Training BART

BART Model은 Corrupted Document(변형된 문서)를 원복하는 방식으로 Pre-Training(사전 학습)을 진행합니다.

이때, Reconstruction Loss는 Decoder의 출력 & 원본 문서간 Cross-Entropy Loss를 사용합니다.

Pre-Training(사전 학습)에 사용된 Denoising Method는 5가지로 아래와 같습니다.

Figure 2: 실험하는 Input을 Noise로 만들기 위한 변환. 이러한 변환은 구성할 수 있습니다.

• Token Masking: BERT의 MLM과 유사하게 랜덤한 토큰을 [MASK]로 대체합니다.
• Token Deletion: 랜덤한 토큰을 삭제하여 모델이 사라진 위치를 찾아야 합니다. MLM의 Token Masking과 달리 어느 위치에서 Token이 삭제가 되었는지를 맞춰야 합니다.
• Text Infilling: 포아송 분포(λ=3)에 따라 샘플링된 텍스트 스팬을 단일 [MASK] 토큰으로 대체합니다. 이는 SpanBERT에서 제안된 방식과 유사하지만, SpanBERT는 다른 분포에서 샘플링하며 정확히 같은 길이의 [MASK] 토큰으로 치환합니다. Text Infilling은 모델이 스팬에서 얼마나 많은 토큰이 사라졌는지 예측해야 합니다.

에시로 ABC.DE.라는 두 문장을 보면, 첫번째 문장은 2만큼 길이 span에서 'BC'라는 text가 샘플링이 되어 단일 [MASK] token, 두번째 문장은 '0'만큼 길이 span에서 'empty'라는 text가이 샘플링이 되어 [MASK] token으로 대체가 되었습니다.

여기서 span은 text(글자)의 Token으로 생각하면 됩니다. span은 labmda가 3인 Poisson(포아송) 분포를 사용해서 [MASK] Token으로 대체된다고 말하기 때문에, 0~6 사이의 span 길이가 뽑힌다고 합니다.

• Sentence Permutation: 문서를 원래 데이터를 여러 부분으로 나누어 임의로 섞습니다. 모델은 원래 순서를 맞춰야 합니다.

예시를 보면 'ABC.DE'라는 원래 데이터가 'DE.ABC.'로 변경되었습니다.
논문에서는 이러한 문장 간의 구분을 마침표(full stop)으로 구분한다고 합니다.

• Document Rotation: 동일한 확률로 하나의 Random Token을 고른후, 그 Random Token의 지점을 잘라서 그 지점부터 시작하도록 변형합니다. 모델은 원래 시작점을 찾아야 합니다.

예시를 보면, 'ABC.DE'라는 Original Text 에서, Random하게 'C'라는 token을 뽑아 시작 점에 배치해두고 'C'앞에 있던 token들은 자연스럽게 뒤로 가게 됩니다. 그래서 문장은 'C.DE.AB'로 변경됩니다.

---

Fine-Tuning BART

BART Model이 생성한 Representatoin은 다양한 Downstream Application에서 여러가지의 방식으로 사용될수 있습니다.

한번 아래의 Task들에 대한 자세한 설명을 해보겠습니다.

Sequence Classification Tasks

Classification 문제에 BART를 사용시. Input은 Encoder, Decoder에 입력, 최종출력엔 Repre-Sentation이 사용됨.

 

Sequence Classification Task는 주어진 시퀀스를 분류하는 태스크입니다.

GLUE의 CoLA는 주어진 문장이 문법적으로 합당한지 분류합니다. 이 태스크에서는 동일한 입력이 Encoder와 Decoder 모두에 주어지며, Decoder의 마지막 Hidden State는 새로운 Multi-Class Linear Classifier에 입력으로 들어갑니다.

이는 BERT의 CLS 토큰과 유사하지만, BART에서는 추가적인 토큰을 끝에 추가하여 Decoder의 Representation이 전체 입력을 반영할 수 있도록 하였습니다.

Token Classification Tasks

Token Classification Task는 각 토큰 단위로 분류를 수행하는 태스크입니다.

대표적으로 SQuAD의 Answer Endpoint Classification이 있습니다. SQuAD는 주어진 문서 내에서 정답에 해당하는 텍스트 스팬의 시작과 끝 토큰을 찾아야 합니다. BART에서는 전체 문서를 Encoder와 Decoder에 입력으로 주고, Decoder의 최상단 Hidden State를 각 토큰의 Representation으로 사용하여 Start와 End Token을 예측하는 분류기에 활용합니다.

Sequence Generation Tasks

BART는 Autoregressive Decoder를 갖추고 있어, Abstractive Question Answering이나 Summarization과 같은 생성 태스크에 바로 적용할 수 있습니다. 이들 태스크는 입력 시퀀스를 변형하여 출력 시퀀스를 생성하는 특징이 있으며, 이는 Denoising Pre-training Objective와 긴밀히 연관되어 있습니다. Encoder에는 입력 시퀀스가 들어가고, Decoder는 Autoregressive 방식으로 출력을 생성합니다.

Machine Translation

기계 번역의 경우, BART의 단어 임베딩을 대체하는 작은 추가 Encoder를 학습합니다. 새로운 Encoder는 분리된 어휘를 사용할 수 있습니다.

 

BART는 전체 모델을 하나의 Encoder처럼 생각하여 Machine Translation 태스크에 적용할 수 있습니다.

구체적으로, BART의 Encoder Embedding Layer를 랜덤 초기화된 새로운 Encoder로 교체합니다. 모델은 End-to-End로 학습되며, 새로운 Encoder는 외국어 단어를 영어로 매핑하여 BART가 영어로 Noisy를 Denoise 할 수 있도록 학습됩니다. 새로운 Encoder는 원래 BART 모델과 다른 Vocabulary를 사용할 수 있습니다.

 

Source Encoder는 두 단계로 학습됩니다

1. BART의 대부분의 파라미터를 Freeze하고, 랜덤으로 초기화된 Source Encoder, BART Positional Embeddings, 첫 번째 Encoder Layer의 Self-Attention Input Projection Matrix만 학습시킵니다.
2. 적은 Iteration 수로 모델의 모든 파라미터를 학습시킵니다.

---

Comparision Pre-Training Objectives

BART Model은 Base-size 기준 (6개의 Encoder, 6개의 Decoder, hidden size: 768개)으로 다양한 Pre-Training Objective를 여러 task에 대한 실험을 통해 비교했습니다.

Comparison Objectives

1. Language Model (LM): GPT와 유사한 Left-to-Right LM으로, BART의 Decoder와 동일하지만 Cross-Attention을 수행하지 않습니다.
2. Permuted Language Model (PLM): XLNet 기반 모델로, 1/6 Token을 Sampling하여 Autoregressive(AR) 방식으로 생성합니다. 다른 Model과 비료를 하기 위해서 Relative Positional Embedding이나 Attention Across Segments는 적용하지 않았습니다.
3. Masked Language Model (MLM): BERT와 동일하게 15% 토큰을 [MASK]로 대체하고, 독립적으로 원래 토큰을 예측합니다.
4. Multitask Masked Language Model (MMLM): UniLM에서 제안한 방식으로, 추가적인 Self-Attention Masks를 통해 학습합니다.
5. Masked Seq-to-Seq: MASS에서 영감을 받은 모델로, 50%의 토큰을 마스크하고 Seq2Seq 방식으로 마스크된 토큰을 예측합니다.

Tasks

비교 실험에서 사용된 Task들은 아래와 같습니다.

• SQuAD: Wikipedia 문단을 사용하는 Extractive Question Answering 태스크로, Input으로 질문과 문맥을 결합하여 Encoder에 넣고 Decoder로 나온 결과로 정답 스팬을 예측합니다.
• MNLI: 두 문장 간의 관계를 분류하는 Bitext Classification 태스크로, 한 문장이 다른 문장을 수반하는지 여부를 판단합니다.

[EOS] Token을 두 문장과 연결하여, BART Model의 Encoder에 넣고 Decoder로 전달합니다.
여기서 [EOS] Token의 역할은 문장간의 관계를 구분하는데 주로 사용됩니다.

• ELI5: Long-form Abstractive Question Answering 태스크로, 긴 형식의 질문에 대해 자유 형식의 답변을 생성합니다.
• XSum: 매우 함축적인 뉴스 요약 태스크로, 추상적인 요약문을 생성해야 합니다.
• ConvAI2: Context와 Persona 조건을 기반으로 한 Dialogue Response Generation 태스크입니다.
• CNN/DM: News Summarization 태스크로, 입력 문서와 밀접하게 연관된 요약을 생성합니다.

Results

실험 결과는 아래의 Tabel과 같습니다.

Pre-Training 비교. 모든 Model은 비슷한 크기이며 책과 위키피디아 데이터을 합친 1M Step만큼 데이터로 Train 됩니다.
두번째, 마지막 블록들은 동일한 Code-Base를 사용하여 동일한 데이터로 학습되었습니다.
첫번째 칸의 항목은 BERT-Base Model의 성능을 나타냅니다.
두번째 칸은 Pre-Training Objective에 따른 모델의 성능을 보여줍니다. 또한 평가 목표에 집중하기 위해 단순화 되었다는 특징을 보여줍니다.
마지막 칸은 BART 모델에서 document corruption을 위에서 설명한 5가지 방법과 조합에 있어 성능을 보여줍니다.
BART with Text Infilling이 대체적으로 성능이 제일 좋은 것을 볼 수 있습니다.
또한 성능은 Task마다 다르지만 text infilling이 포함된 BART 모델이 가장 좋은 성능을 나타냅니다.

• Performance of pre-training methods varies significantly across tasks (두번째칸 3번째)
  • Pre-training 방법론의 성능은 태스크별로 크게 달라집니다.
  • LM 모델은 ELI5에서 최고 성능을 보였지만, SQuAD에서는 최저 성능을 나타냈습니다.
• Token masking is crucial (마지막칸 4,5번째)
  • Rotating Document나 Permuting Sentences 기반 Pre-training 방법론은 성능이 낮았습니다.
  • 반면, Token Deletion이나 Token Masking, Self-Attention Mask를 사용하는 방법은 우수한 성능을 보였습니다.
• Left-to-right pre-training improves generation (AutoRegressive, AR 방식 사용 X, 두번째 칸 1,4번째)
  • MLM과 PLM 모델은 생성 태스크에서 성능이 낮았으며, BART는 Text Infilling과 Sentence Shuffling을 결합하여 우수한 성능을 보였습니다.
• Bidirectional encoders are crucial for SQuAD (두번째 칸 3번째)
  
  • BART는 절반의 양방향 레이어를 가지고도 SQuAD에서 RoBERTa와 유사한 성능을 달성하였습니다.
  • 단순 left-to-right Decodersms SQuAD에서 성능은 낮지만, BART 모델에선 그렇지 않았습니다.
• The pre-training objective is not the only important factor (두번째 칸 4번째)
  • Permuted LM은 기존 XLNet과 Pre-Training Objective는 같지만 성능이 낮았습니다.
  • 이는 Relative-Position Embedding이나 Segment-Level Recurrence와 같은 추가적인 구조적 향상이 없었기 때문입니다.
• Pure Language Models in ELI5
  • ELI5 태스크에서는 유일하게 LM에서 Pre-trained Objective들의 성능이 BART보다 높은 성능을 보였습니다.
• Consistent Performance of BART
  • ELI5를 제외한 대부분의 태스크에서 BART는 Text Infilling을 사용한 모델이 우수한 성능을 보였습니다.

---

Large-scale Pre-training Experiments

이번 실험에서는 BART 모델을 RoBERTa와 동일한 규모로 Pre-Training 시켰습니다.

위의 실험에서는 단순히 Text Infilling만을 사용한 것이 성능이 좋았지만, 본 논문에서는 large scale 단위로 가게 되면 sentence shuffling이 잘 학습할 수 있다는 가설을 두었고 실험을 진행하였습니다.

Experimental Setup

• 모델 구성: 12 Layer Encoder/Decoder, Hidden Size 1024
• 학습 설정:
  • Batch Size: 8000
  • Training Steps: 500,000
  • Tokenization: Byte-Pair Encoding (BPE)
  • Noising Scheme: Text Infilling과 Sentence Permutation의 조합
  • Dropout: 학습 단계의 마지막 10%에서는 Dropout을 사용하지 않음, Overfitting 방지 목적
• 학습 데이터: News, Books, Stories, Web Text 등 160GB의 데이터 사용

Discriminative Tasks

BART는 SQuAD와 GLUE 태스크에서 RoBERTa, XLNet와 유사한 성능을 보였습니다.

 

대부분의 Discriminative Task에서 BART는 RoBERTa와 큰 차이는 보이지 않았습니다.

이는 BART의 uni-directional decoder layers가 discriminative tasks에서 성능을 저하시키지 않음을 시사합니다.

가장 직접적으로 비교 가능한 Baseline은 동일한 자원으로 Pre-Training(사전 학습)되었으나, 다른 목표를 가진 RoBERTa입니다.

전반적으로 BART는 대부분의 태스크에서 유사한 성능을 보였으며, 모델 간의 차이는 미미했습니다.

이는 BART의 Generation Task에서의 성능 향상이 Classification 성능을 희생하지 않음을 의미하며, 우수한 성능을 나타냈다는 것을 의미합니다.

Generation Tasks

2개의 표준 Summerization Dataset에 관한 결과입니다. BART 모델은 두가지 Task & 모든 지표에 대한 Summerization에 대한 이전의 Task를 능가하며, 추상적인 Dataset에서 6점 이상의 성능 차이를 보였습니다.

 

본 논문에서 소개되는 BART는 모든 Task에서 모든 평가지표, Rough의 R1, R2, RL에서 좋은 성능을 보이는걸 알 수 있습니다.

특히 맨앞 3개의 문장을 추출하는 Lead-3를 보면, 전자의 Task보다 후자의 Task에서 성능이 매우 낮음을 보입니다.

Summarization

• CNN/DailyMail (쉬운 데이터): Source Sentences와 유사한 요약을 생성하는 태스크로, BART는 기존 모델보다 우수한 ROUGE 점수를 기록하였습니다.
• XSum (어려운 데이터): 매우 추상적인 요약을 생성해야 하는 태스크로, BART는 기존 SOTA 모델보다 약 6 ROUGE 점수 향상을 보였습니다.

Dialogue

• ConvAI2: Context와 Persona를 기반으로 한 대화 응답 생성 태스크에서 BART는 다른 모델들과 비교하여 Perplexity에서 큰 향상을 보였습니다.

Abstractive QA

• ELI5: 긴 자유형식 답변을 생성하는 태스크에서 BART는 SOTA 성능을 달성하였습니다.

Translation

BART는 WMT16 Romanian-English 데이터셋에서 기존 Transformer 모델과 비교하여 1.1 BLEU 점수 향상을 보였습니다.

이는 Back-Translation Data Augmentation을 적용한 결과로, BART의 Encoder를 추가적으로 학습시켜 외국어 텍스트를 영어로 매핑하는 방식으로 성능을 개선하였습니다.

 

다만, 성능 개선이 획기적으로 되지 않은것으로 보아, Machine Translation 부분에서는 BART 모델이 좋지는 않은것 처럼 보여집니다.

---

Qualitative Analysis

원본 문서 (간략화)	BART 모델 요약
연구자들은 피지 연안 산호초에서 세 가지 종류의 산호를 조사했습니다... 연구자들은 물고기가 많을 때, 물고기들이 산호의 해조류와 바다풀을 먹어 산호가 온도 상승에 더 저항하게 만들고, 백화 현상과 관련된 박테리아인 Vibrio coralliilyticus에 덜 취약해진다고 발견했습니다. 연구자들은 해조류가 온도 상승처럼 산호의 화학적 방어 능력을 약화시킬 수 있으며, 물고기들이 산호를 보호하는 역할을 할 수 있다고 제안했습니다.	피지 연안의 어류는 Science 저널에 실린 연구에 따르면, 지구 온난화의 영향으로부터 산호초를 보호하고 있습니다.
외교관의 부인으로서 면책특권이 있는 사코올라스는 교통사고에 연루되었습니다... 존슨 총리는 와트퍼드 병원에서 기자들과의 대화 중 이 사건에 대해 언급하며 "앤 사코올라스가 다시 돌아오길 희망합니다. 만약 해결할 수 없다면, 당연히 백악관에 직접 이 문제를 제기할 것입니다."라고 말했습니다.	보리스 존슨은 백악관에 미국 외교관 앤 사코올라스의 면책특권 문제를 제기할 것이라고 말했습니다.
시리아 국영 언론에 따르면 정부군이 어제 SDF가 통제하던 지역에 배치되기 시작했습니다... 10월 6일, 도널드 트럼프 미국 대통령과 터키 대통령 레제프 타이이프 에르도안이 전화 통화를 했고, 양국은 북동부 시리아로의 침공이 임박했다는 성명을 발표했습니다. 수요일에 터키는 공습에 이어 지상 침공을 시작했습니다.	시리아 정부군은 터키의 침공에 대응하여 미국이 지원하는 시리아 민주군(SDF)이 점령한 지역에 진입했습니다.
사상 처음으로 한 사람이 42.195킬로미터(약 26마일)의 풀 마라톤을 두 시간 내에 완주했습니다. 하지만 이 경기는 IAAF에서 공인한 공식 기록 경기는 아니었습니다. 킵초게의 기록은 1시간 59분 40.2초였습니다. 오스트리아 비엔나에서 열린 이 경기는 킵초게가 2시간의 벽을 넘도록 돕기 위해 특별히 기획되었습니다.	케냐의 엘리우드 킵초게는 2시간 내에 마라톤을 완주했습니다.
PG&E는 산불 위험을 줄이기 위한 예보에 따라 강풍과 건조한 날씨를 대비해 정전을 계획했다고 발표했습니다. 거의 80만 명의 고객이 영향을 받을 것으로 예상되며 정전은 최소 내일 오후까지 지속될 예정입니다.	캘리포니아에서 수백만 명의 고객을 대상으로 정전 계획이 실행되었습니다.

BART의 생성 결과는 매우 abstractive하며, 입력에서 복사된 구가 거의 없습니다. 출력은 일반적으로 사실적으로 정확하며, 입력 문서의 전반적인 증거와 배경 지식을 통합합니다. (예를 들어, 이름을 정확하게 완성하거나, PG&E가 캘리포니아에서 운영된다는 사실을 추론하는 것). 첫 번째 예시에서, 물고기가 지구 온난화로부터 산호초를 보호하고 있다는 것을 추론하는 것은 텍스트에서 비직관적인 추론을 필요로 합니다.

---

Conclusion

Corrupted Documents를 원래대로 복원하는 사전 학습 방식을 가진 BART를 제안하였습니다.

BART는 Discriminative Task에서 RoBERTa와 유사한 성능을 보였으며, 여러 Text Generation Task에서는 새로운 State-of-the-Art (SOTA) 성과를 달성하였습니다.

 

특히, Text Infilling을 활용한 사전 학습 방법론이 우수한 성능을 보였으며, 다양한 NLP 태스크에서 BART의 유연성과 강력한 성능을 확인할 수 있었습니다. BART는 Discriminative Tasks에서 RoBERTa와 유사한 성능을 달성하는 동시에, 여러 Text Generation Tasks에서 새로운 State-of-the-Art 성과를 이뤘습니다. 향후 연구에서는 사전 학습을 위한 문서 손상 방법을 새롭게 탐구하고, 이를 특정 End Tasks에 맞게 조정하는 것과 함께, 모델의 경량화, 다언어 지원, 효율적인 학습 방법 등을 주요 연구 방향으로 기대됩니다.

 

---

Word Explaination (용어 설명)

왼쪽에서 오른쪽으로 작동하는 Auto-Regressive 특성 (Left-to-Right Auto-Regressive)

• 텍스트를 생성할 때 이전 단어들을 바탕으로 다음 단어를 예측하는 방식입니다. GPT와 BART의 Decoder는 이러한 특성을 가집니다.

Text Infilling 스킴

• 텍스트 내 연속된 단어 스팬을 하나의 [MASK] 토큰으로 대체하는 노이징 기법입니다. 모델은 이 [MASK] 토큰을 원래의 텍스트로 복원해야 합니다.

이해력 테스트 (Comprehension Tests)

• 모델이 텍스트를 얼마나 잘 이해하고 있는지를 평가하는 태스크입니다. BART는 텍스트 생성뿐만 아니라 이해력 테스트에서도 뛰어난 성능을 보입니다.

GLUE (General Language Understanding Evaluation)

• 다양한 자연어 이해 태스크를 포함한 벤치마크 데이터셋으로, 모델의 전반적인 언어 이해 능력을 평가합니다.

SQuAD (Stanford Question Answering Dataset)

• 주어진 문서에서 질문에 대한 답변을 추출하는 질문 응답 태스크를 포함한 데이터셋입니다. 모델의 이해력과 추론 능력을 평가합니다.

RoBERTa (Robustly optimized BERT approach)

• BERT의 성능을 개선하기 위해 학습 방법과 하이퍼파라미터를 최적화한 모델입니다. 다양한 NLP 태스크에서 뛰어난 성능을 보입니다.

ROUGE 점수

• 텍스트 요약의 품질을 평가하기 위한 지표로, 생성된 요약과 참조 요약 간의 n-그램, 단어 순서, 구문 구조 등을 비교하여 유사성을 측정합니다.

Abstractive Dialogue

• 주어진 대화 문맥을 바탕으로 새로운 응답을 생성하는 대화 생성 태스크입니다. 단순히 입력 문장을 추출하는 것이 아니라, 새로운 문장을 생성합니다

State-of-the-Art (SOTA)

• 특정 태스크에서 현재까지 달성된 최고 성능을 의미합니다. BART는 여러 텍스트 생성 태스크에서 SOTA 성과를 달성하였습니다.

Ablation 실험

• 모델의 특정 구성 요소나 기능을 제거하거나 변경하여, 해당 요소가 전체 성능에 미치는 영향을 평가하는 실험입니다. 이를 통해 모델의 중요한 부분을 확인할 수 있습니다.