📝 NLP (자연어처리)/📕 Natural Language Processing
[NLP] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
이번엔, BART Model에 대하여 공부한 내용을 정리해 보겠습니다.What is BART?BART(Bidirectional and Auto-Regressive Transformers) 모델은 Facebook AI(현 Meta AI)에서 2019년에 소개한 sequence-to-sequence 모델입니다. BART는 BERT와 GPT의 장점을 결합한 모델입니다. BERT 모델의 Bidrectional(양방향)으로 언어 Sequence의 Token들을 Attention 매커니즘에 반영하여 문자를 Encoding 하는 내용, GPT의 Generative Decoder를 활용한, 이때까지의 입력을 바탕으로 새로운 출력을 만드는 Generative model 입니다.정리하면, 기본의 Sequence-to-Se..
