[NLP] BERT (Bidrectional Encoder Representations from Transformers)

LLM관련 스터디를 하고 있는데, BERT 모델에 데하여 공부를 해야할 타이밍이여서, 하는김에 내용도 정리해 보도록 하겠습니다.

그리고 BERT Model에 데하여 이해를 하려면 Transformer라는 모델에 데하여 어느정도 이해가 필요합니다.

아래 참고글 남길테니 한번 보고 이 글을 읽어주세요!!

[NLP] Transformer Model - 트랜스포머 모델 알아보기

---

What is BERT?

 

BERT(Bidirectional Encoder Representations from Transformers)는 2018년에 구글이 공개한 사전 훈련된 모델입니다.

구글에서 2018년에 발표한 BERT 모델은 Transformer 아키텍처를 기반으로 하며, 문장의 전후 문맥을 모두 고려하는 양방향 학습 방식을 도입하여 다양한 NLP 작업에서 뛰어난 성능을 보여주고 있습니다.

 

한번 정의를 한번 보면

• Bidirectional(양방향): 문장을 이해할 때 앞뒤 문맥을 모두 고려하는 방식으로, 단어의 의미를 더욱 정확하게 파악할 수 있습니다.
• Encoder Representations: Transformer의 인코더 부분을 사용하여 입력된 문장을 벡터 표현으로 변환합니다.
• Transformers: Attention 메커니즘을 활용한 딥러닝 모델로, 병렬 처리가 가능하여 학습 효율이 높습니다.

BERT는 위키피디아(25억 단어), BooksCorpus(8억 단어)로 이블이 없는 텍스트 데이터로 Pre-Trained(사전 훈련)된 언어 모델입니다.

• 사전 학습(Pre-training): 대량의 텍스트 데이터를 사용하여 일반적인 언어 이해 능력을 학습합니다.
• 미세 조정(Fine-tuning): 사전 학습된 모델을 기반으로 특정 NLP 작업에 맞게 추가 학습하여 성능을 최적화합니다.

만약, BERT모델로 Fine-tuning 한다고 하면? 위키피디아 등으로 사전 학습된 BERT 위에 분류를 위한 신경망을 한 층 추가합니다.

이 경우를 설명해보면 BERT가 언어 모델이 Pre-training(사전 학습) 과정에서 얻은 지식을 활용한다는 개념으로 보면 될것 같습니다.

---

양방향성(Bidirectionality)

BERT는 Bidirectional(양방향)으로 문장을 이해할때, 앞 뒤 문맥으로 고려하는 방식입니다.

문맥의 전후 정보를 모두 활용

• 전통적인 언어 모델은 주로 왼쪽에서 오른쪽(순방향) 또는 오른쪽에서 왼쪽(역방향)으로 단어를 예측합니다.
• 이 경우 문맥의 한쪽 방향 정보만 활용하므로 단어의 의미를 완벽히 파악하기 어렵습니다.

BERT의 양방향 학습 방식

• Masked Language Model(MLM)을 통해 문장 내의 단어를 무작위로 마스킹하고, 마스킹된 단어를 예측하는 과정에서 주변의 모든 단어 정보를 활용합니다.
• 이를 통해 단어의 의미를 앞뒤 문맥을 모두 고려하여 학습할 수 있습니다.

한번 예시를 들어보면? 아래의 문장과 같습니다.

"그는 [MASK]를 먹었다."에서 [MASK] 자리에 올 수 있는 단어를 예측할 때,
앞뒤 단어를 모두 참고하여 "사과", "밥", "약" 등 적절한 단어를 추론합니다.

---

BERT 모델의 특징

Transformer 기반의 모델 구조

• 기존의 순환 신경망(RNN)이나 LSTM과 달리, Transformer는 Attention 메커니즘을 사용하여 병렬 처리가 가능하고 학습 속도가 빠릅니다.
• BERT는 Transformer의 인코더 부분만을 사용하여 모델을 구성하였습니다.

새로운 사전 학습 목표

• Masked Language Model(MLM):
  • 입력 문장에서 일부 단어를 마스킹하고, 마스킹된 단어를 예측하는 방식으로 학습합니다.
  • 이는 양방향 문맥 정보를 활용할 수 있게 합니다.
• Next Sentence Prediction(NSP):
  • 두 개의 문장이 주어졌을 때, 두 문장이 연속되는 문장인지 여부를 예측합니다.
  • 문장 간의 관계를 이해하고 일관성 있는 문맥을 파악하는 데 도움이 됩니다.

---

BERT Model Architecture

BERT 모델의 Architecture에 데하여 한번 알아보겠습니다.

BERT의 아키텍처는 Transformer 모델의 인코더(Encoder) 부분을 기반으로 하며, 입력된 텍스트를 벡터 표현으로 변환합니다.

이를 통해 문장의 전후 문맥을 모두 이해하여 다양한 자연어 처리 작업에서 우수한 성능을 발휘합니다.

BERT Model Architecture

BERT에서의 인코더 활용

• Self-Attention 메커니즘: 문장 내의 모든 단어가 서로의 관계를 파악하여 중요한 정보를 추출합니다.
• 병렬 처리 가능: 순환 구조가 없어 병렬 연산이 가능하며, 이는 학습 속도를 향상시킵니다.
• 양방향성 확보: 인코더 구조를 통해 문맥의 앞뒤 정보를 동시에 고려할 수 있습니다.

---

BERT의 크기

BERT의 기본 구조는 트랜스포머의 인코더를 쌓아올린 구조입니다.

• Base 버전에서는 총 12개를 쌓았으며
• Large 버전에서는 총 24개를 쌓았습니다.

그 외에도 Large 버전은 Base 버전보다 d_model의 크기나 셀프 어텐션 헤드(Self Attention Heads)의 수가 더 큽니다.

트랜스포머 인코더 층의 수를 L, d_model의 크기를 D, 셀프 어텐션 헤드의 수를 A라고 하였을 때 각각의 크기는 다음과 같습니다.

BERT-Base : L=12, D=768, A=12 : 110M개의 파라미터
BERT-Large : L=24, D=1024, A=16 : 340M개의 파라미터

 

트랜스포머 초기 모델이 (L=6, D=512, A=8) 이었다는 것과 비교하면 BERT의 Base Model은 초기 트랜스포머보다 큰 네트워크임을 알 수 있습니다.

여기서 BERT-base는 BERT보다 앞서 등장한 Open AI GPT-1과 하이퍼파라미터가 동일한데,

이는 BERT 연구진이 직접적으로 GPT-1과 성능을 비교하기 위해서 GPT-1과 동등한 크기로 BERT-Base를 설계하였기 때문입니다.

반면, BERT-Large는 BERT의 최대 성능을 보여주기 위해 만들어진 모델입니다.

---

BERT에서 문맥을 반영한 Contextual Embedding

BERT는 문맥을 반영한 임베딩(Contextual Embedding)을 사용하고 있습니다.

BERT 모델의 입력은 DL Model들과의 마찬가지로 Embedding Layer를 가진 Embedding Vector들입니다.

d_model을 768로 정의하였으므로, 모든 단어들은 768차원의 Embedding Vector가 되어 BERT의 input으로 사용됩니다.

Model에서 연산을 거친후, 768차원의 Vector를 출력합니다.

위의 예시를 보면, BERT Model이 각 768차원의 [CLS], I, love, you라는 4개의 Input Embedding(Vector)를 입력받아서 동일하게 768차원의 4개의 Output Embedding(Vector)를 출력하는 모습을 보여줍니다.

 

BERT의 연산을 거친 후의 Output Embedding은 문장의 Context를 모두 참고한 문맥을 반영한 Embedding이 됩니다.

[CLS]라는 벡터는 BERT의 초기 입력으로 사용되었을 입력 임베딩 당시에는 단순히 임베딩 층(embedding layer)를 지난 임베딩 벡터였지만, BERT를 지나고 나서는 [CLS], I, love, you라는 모든 단어 벡터들을 모두 참고한 후에 문맥 정보를 가진 벡터가 됩니다.

 

좌측 그림에서는 모든 단어를 참고하고 있다는 것을 점선의 화살표로 표현하였습니다. [CLS]라는 단어 벡터랑 다른 벡터들도 동일합니다.

우측의 그림에서 출력 임베딩 단계의 love를 보면 BERT의 입력이었던 모든 단어들인 [CLS], I, love, you를 참고합니다.

[CLS] 토큰은 입력의 시작 부분에 추가되는 토큰으로, 전체 시퀀스의 대표 벡터로 사용됩니다.
분류 작업에서 이 토큰의 출력 벡터를 활용합니다.

 

하나의 단어가 모든 단어를 참고하는 연산은 BERT의 12개의 Layer에서 동일하게 이루어집니다.

그리고 12개의 층을 지난 후에 Output Embedding을 얻게됩니다

위 그림은 BERT의 첫번째 Layer에 입력된 각 단어가 모든 단어를 참고한 후에 출력되는 과정을 화살표로 표현하였습니다.

BERT의 첫번째 Layer의 Output Embedding은 BERT의 두번째 Layer에서는 Input Embedding이 됩니다.

 

그러면 BERT Model이 모든 단어들을 참고해서 Context를 반영한 Output Embedding을 얻게 되는 방법은, 'Self-Attention'을 통해서 이루어 집니다.

BERT 모델은 기본적으로 Transformer Encoder를 12번 쌓은것 이므로, 각 Layer마다 Multi-Head Self-Attention과 Position-wise Feed-Forward Network을 순회하며 최종적으로 Output Embedding을 얻습니다.

---

BERT Model의 Embedding

BERT는 입력 데이터를 처리하기 위해 세 가지 임베딩을 사용하여 단어의 위치와 문맥을 표현합니다.

토큰 임베딩(Token Embedding)

• 단어를 고유한 벡터로 변환하는 과정입니다.
• WordPiece 토크나이저를 사용하여 희귀 단어나 새로운 단어를 서브워드(subword) 단위로 분해합니다.

예: "playing" → "play", "##ing"

워드피스 임베딩(WordPiece Embedding)

• 문장 구분을 위한 임베딩으로, 두 문장을 구별하기 위해 사용합니다.
• 첫 번째 문장은 세그먼트 A, 두 번째 문장은 세그먼트 B로 표시합니다.

포지션 임베딩(Position Embedding)

• 단어의 순서를 나타내는 임베딩으로, 문장 내에서 단어의 위치 정보를 제공합니다.
• 최대 시퀀스 길이까지의 위치에 대한 임베딩을 사전에 정의합니다.

입력 임베딩 구성

• 위 세 가지 임베딩을 요소별로 합산(summing)하여 최종 입력 임베딩을 만듭니다.
• 이를 통해 단어의 의미, 문장 구조, 위치 정보를 모두 통합하여 모델에 입력합니다.

---

포지션 임베딩 (Position Embedding)

트랜스포머에서는 포지셔널 인코딩(Positional Encoding)이라는 방법을 통해서 단어의 위치 정보를 표현했습니다.

포지셔널 인코딩은 사인, 코사인 함수를 사용하여 위치에 따라 다른 값을 가지는 행렬을 만들어 이를 단어 벡터들과 더하는 방법입니다.

BERT에서는 이와 유사하지만, 위치 정보를 사인 함수와 코사인 함수로 만드는 것이 아닌 학습을 통해서 얻는 포지션 임베딩(Position Embedding)이라는 방법을 사용합니다.

위의 그림을 토대로, Positional Embedding을 사용하는 방법을 보겠습니다.WordPiece Embedding은 단어 임베딩으로 실질적인 입력입니다.그리고 이 입력에 포지션 임베딩을 통해서 위치 정보를 더해주어야 합니다.

 

포지션 임베딩의 아이디어는 굉장히 간단한데, 위치 정보를 위한 임베딩 층(Embedding layer)을 하나 더 사용합니다.

문장의 길이가 4라면 4개의 포지션 임베딩 벡터를 학습시킨후 BERT의 입력마다 다음과 같이 포지션 임베딩 벡터를 더해줍니다.

첫번째 단어의 임베딩 벡터 + 0번 포지션 임베딩 벡터
두번째 단어의 임베딩 벡터 + 1번 포지션 임베딩 벡터
세번째 단어의 임베딩 벡터 + 2번 포지션 임베딩 벡터
네번째 단어의 임베딩 벡터 + 3번 포지션 임베딩 벡터

 

BERT에서는 문장의 최대 길이를 512로 하고 있으므로, 총 512개의 포지션 임베딩 벡터가 학습됩니다.

BERT에 2개의 임베딩 층이 사용된다고 하면? 단어 집합의 크기가 30,522개인 단어 벡터를 위한 Embedding Layer과

문장의 최대 길이가 512이므로 512개의 Position Vector를 위한 Embedding Layer 입니다.

---

Segment Embedding(세그먼트 임베딩)

BERT 모델은 종종 2개 이상의 문장 input이 필요한 Task가 주어지는 경우도 있습니다.

 

이때, 문장 구분을 하기 위해서 Segment Embedding이라는 또 다른 Embedding Layer을 사용하기도 합니다.

첫번째 문장에는 Sentence 0 임베딩, 두번째 문장에는 Sentence 1 임베딩을 더해주는 방식이며 임베딩 벡터는 두 개만 사용됩니다.

정리를 해보면, 앞에서 설명했지만, BERT 모델에서는 3개의 Embedding Layer가 사용됩니다.

WordPiece Embedding : 실질적인 입력이 되는 워드 임베딩. 임베딩 벡터의 종류는 단어 집합의 크기로 30,522개.
Position Embedding : 위치 정보를 학습하기 위한 임베딩. 임베딩 벡터의 종류는 문장의 최대 길이인 512개.
Segment Embedding : 두 개의 문장을 구분하기 위한 임베딩. 임베딩 벡터의 종류는 문장의 최대 개수인 2개.

 

참고해야 할 점은, BERT가 문장 중간에 있는 [SEP] Token과 두 종류의 Segment Embedding을 통해서 두 개의 문장을 구분하여 입력받을 수 있다고 하지만?

여기서 BERT에 두 개의 문장이 들어간다는 표현에서의 문장이라는 것은 실제 우리가 알고 있는 문장의 단위는 아닙니다.

 

[SEP] Token과 Segment Embedding을 기준으로 구분되는 [질문(Question), 본문(Paragraph)]의 Text를 입력받는 경우면?

본문(Paragraph) 1개는 여러개의 문장으로 구성될수도 있다는 점을 고려해야 합니다.

즉, BERT Model에 들어오는 2개의 문장은 실제로는? 두 종류의 Text 일수도 있습니다.

그렇다고 꼭 2개의 문장을 입력받아야 하는건 아닙니다. Classification 작업을 하는 경우에는 하나의 본문(Paragraph)을 가지고 분류를 하기 때문에, BERT 모델의 전체 입력에 Sentence 0 Embedding만 더해줍니다.

 

BERT Model 특수 Token

BERT는 입력 시퀀스에 특수 토큰을 추가하여 모델의 이해도를 높입니다.

• [CLS] 토큰
  • 입력의 시작 부분에 추가되는 토큰으로, 전체 시퀀스의 대표 벡터로 사용됩니다.
  • 분류 작업에서 이 토큰의 출력 벡터를 활용합니다.
• [SEP] 토큰
  • 문장 또는 세그먼트의 구분을 나타내는 토큰입니다.
  • 두 문장을 입력할 때 각 문장 뒤에 [SEP] 토큰을 추가합니다.

[CLS] 문장1의 내용 [SEP] 문장2의 내용 [SEP]

---

BERT에서의 Self-Attention

BERT 모델에서의 Attention 매커니즘에 데하여 설명을 해보면, 단어들이 서로 어떻게 관련되어 있는지 학습하여 문맥 이해를 돕습니다.

각 단어의 쿼리(Query), 키(Key), 값(Value)를 계산하여 어텐션 가중치를 구합니다.

예시로 Input Sequence를 "어제 카페 갔었어 [MASK] 사람 많더라" 라고 가정해 보겠습니다.

 

아래의 그림을 보면, BERT 모델은 [MASK] Token 앞뒤 문맥을 모두 참고 할 수 있습니다.

BERT의 Self-Attention

 

[MASK]라는 단어에 대응하는 BERT의 마지막 Layer의 출력 결과에 선형 변환과 Softmax 함수를 적용해, 요소값 각각이 확률이고,

학습 대상의 언어의 어휘수 만큼 차원수를 가진 벡터가 되도록 합니다.

빈칸의 정답인 거기에 해당하는 확률은 높이고 나머지 단어의 확률이 낮아지도록 모델 전체를 업데이트 합니다.

아래의 글에 Self-Attention에 관하여 자세히 정리해 놓았으니 참고해주세요!

[NLP] 합성곱, 순환신경망, Encoder, Decoder에서 수행하는 Self-Attention

---

Attention Mask (어텐션 마스크)

앞에서 [MASK]라는 Token이 나와서 그 내용에 관하여 설명을 해보겠습니다.

 

BERT Model을 돌릴때, Attention Mask라는 Sequence Input이 필요할때가 있습니다.

Attention Mask는 BERT가 Attention 연산을 할 때, 불필요한 Padding Token에 대해서 Attention을 하지 않도록 실제 단어와 Padding Token을 구분할 수 있도록 알려주는 입력입니다.

 

Attention Mask값은 0과 1 두가지가 있는데, 숫자 1은 해당 토큰은 실제 단어이므로 Masking을 하지 않는다라는 의미이고,

숫자 0은 해당 토큰은 Padding Token이므로 Masking을 한다는 의미입니다.

 

같이 실제 단어의 위치에는 1, Padding Token의 위치에는 0의 값을 가지고 Sequence를 만들어 BERT의 또 다른 Input으로 사용합니다.

---

BERT Model의 Input Data의 처리 과정

그러면 BERT Model에 들어가는 개념을 정리를 해본것 같으니, Input Data의 처리과정을 한번 간략하게 요약해 보겠습니다.

전처리

• 입력 텍스트를 토크나이징하여 토큰 리스트로 변환합니다.
• 토큰 리스트에 [CLS]와 [SEP] 토큰을 추가합니다.
• 세그먼트와 포지션 임베딩을 생성합니다.

모델 입력

• 입력 임베딩(토큰 임베딩 + 세그먼트 임베딩 + 포지션 임베딩)을 모델에 전달합니다.

출력

• 각 토큰에 대한 컨텍스트가 반영된 벡터 표현을 얻습니다.
• [CLS] 토큰의 벡터는 전체 입력의 대표로 사용됩니다.

---

BERT Model의 Pre-Training

BERT Model에서 사전 학습(Pre-training)애 대하여 정리를 해보겠습니다.

 

BERT 모델에서 사전 학습(Pre-Training) 은 대규모의 Text Corpus를 사용하여 모델이 일반적인 언어의 구조와 패턴을 학습하는 단계입니다. BERT는 두 가지 주요 목표를 통해 사전 학습을 진행합니다

• Masked Language Model(MLM)
• Next Sentence Prediction(NSP)

---

Masked Language Model, MLM (마스크드 언어 모델)

BERT는 사전 훈련을 위해서 인공 신경망의 입력으로 들어가는 입력 텍스트의 15%의 단어를 랜덤으로 마스킹(Masking)합니다.

그리고 인공 신경망에게 이 가려진 단어들을(Masked words) 예측하도록 합니다.

중간에 단어들에 구멍을 뚫어놓고, 구멍에 들어갈 단어들을 예측하게 하는 식입니다.

https://www.sbert.net/examples/unsupervised_learning/MLM/README.html

예를 들어 '그는 오후에 [MASK] 운동을 하고 학교로 돌아갔다.'를 주고 '공원에서'를 맞추게 합니다.

 

더 정확히는 전부 [MASK]로 변경하지는 않고, 랜덤으로 선택된 15%의 단어들은 다시 다음과 같은 비율로 규칙이 적용됩니다.

80%의 단어들은 [MASK]로 변경한다.
Ex) '공원에서' → '[MASK]'

10%의 단어들은 랜덤으로 단어가 변경된다.
Ex) '집으로' → '학교로'

10%의 단어들은 동일하게 둔다.
Ex) '돌아갔다' → '돌아갔다'

이렇게 하는 이유는 [MASK]만 사용할 경우에는 [MASK] 토큰이 Fine-Tuning 단계에서는 나타나지 않으므로

Pre-Training(사전 학습)단계와 Fine-Tuning 단계에서의 불일치가 발생하는 문제가 있기 때문입니다.

이러한 문제을 완화하기 위해서 랜덤으로 선택된 15%의 단어들의 모든 토큰을 [MASK]로 사용하지 않는다는 특징이 있습니다.

 

전체 단어의 85%는 MLM 의 학습에 사용되지 않습니다. MLM의 학습에 사용되는 단어는 전체 단어의 15%입니다.

• 12%는 [MASK]로 변경 후에 원래 단어를 예측합니다.
• 1.5%는 랜덤으로 단어가 변경된 후에 원래 단어를 예측합니다.
• 1.5%는 단어가 변경되지는 않았지만, BERT는 이 단어가 변경된 단어인지 원래 단어가 맞는지는 알 수 없습니다.

이 경우에도 BERT는 원래 단어가 무엇인지를 예측하도록 합니다.

 

다시, 예시를 들어보면, 'My dog is cute. he likes playing'이라는 문장을 MLM으로 학습하자고 하면? 

전처리 + BERT의 Subword tokenizer에 의해 이 문장은 ['my', 'dog', 'is' 'cute', 'he', 'likes', 'play', '##ing']로 토큰화가 됩니다.

그후 BERT의 Input으로 사용됩니다. 그리고 언어모델 학습을 위해서 데이터가 변경 되었다고 가정합니다.

'dog' 토큰은 [MASK]로 변경

 

 

그림을 보면, 'dog' 토큰이 [MASK]로 변경된 후, BERT Model이 원래 단어를 맞추려고 하는 모습을 볼 수 있습니다.

Output Layer에 있는 다른 위치의 Vector들은 Predict(예측)과 Train(학습)에 사용되지 않고, 오직 'dog'위치의 Output Layer의 Vector만이 사용됩니다.

 

결론은 Output Layer에서는 Predict(예측)을 위해 단어 집합의 크기만큼의 밀집층(Dense layer)에 softmax 함수가 사용된 1개의 Layer 을 사용하여 원래 단어가 무엇인지를 맞추게 됩니다.

Masked Language Model, MLM (마스크드 언어 모델)의 장점

• 양방향성 확보: 앞뒤 문맥을 모두 활용하여 단어를 예측하므로, 단어의 정확한 의미 파악이 가능합니다.
• 일반화 능력 향상: 다양한 문맥에서 단어의 사용을 학습하여, 새로운 문장에서도 우수한 성능을 보입니다.

Pre-Training(사전 학습)과 Fine-Tuning(파인 튜닝)단계의 불일치

BERT의 사전 학습 단계에서 Masked Language Model(MLM)을 사용할 때, 입력 문장의 15%의 단어를 무작위로 선택하여 마스킹합니다. 하지만 이 선택된 단어들을 모두 [MASK] 토큰으로 대체하지는 않습니다.

 

• Pre-Training(사전 학습) 단계에서는 모델이 [MASK] 토큰을 보고 그 자리에 어떤 단어가 와야 할지 예측하도록 학습합니다.
• 하지만 Fine-Tuning(미세 조정) 단계나 실제 응용 단계에서는 [MASK] 토큰이 입력에 등장하지 않습니다.
• 따라서 모든 마스킹된 단어를 [MASK]로만 대체하면, 모델은 [MASK] 토큰이 있을 때만 단어를 예측하는 데 익숙해집니다.
• 이는 Pre-Training(사전 학습)과 Fine-Tuning(파인 튜닝)단계 사이에 불일치(mismatch)를 발생시켜, 실제 사용 시 모델의 성능을 저하시킬 수 있습니다.

해결책: 마스킹된 단어들의 다양화
이를 완화하기 위해, 선택된 15%의 단어들을 다음과 같이 처리합니다.

80%는 [MASK] 토큰으로 대체합니다.
예: "나는 **[MASK]**를 먹었다.

10%는 원래 단어 그대로 유지합니다.
예: "나는 사과를 먹었다.

10%는 무작위 다른 단어로 대체합니다.
예: "나는 바나나를 먹었다."

BERT 모델은 [MASK] 토큰이 있는 경우뿐만 아니라, 원래 단어가 유지되거나 다른 단어로 대체된 경우에도 단어를 예측하는 방법을 학습합니다.

Fine-Tuning(단계)와 실제 응용 단계에서는 [MASK] 토큰이 없기 때문에, 모델이 [MASK] 없이도 단어 예측을 잘 수행할 수 있게 됩니다.

또한 다양한 형태의 입력을 경험함으로써, 모델은 Predict(예측) 능력이 향상되고 Overfitting(과적합)을 방지할 수 있습니다.

---

Next Sentence Prediction, NSP (다음 문장 예측)

BERT는 두 개의 문장을 준 후에 이 문장이 이어지는 문장인지 아닌지를 맞추는 방식으로 훈련시킵니다.

50:50 비율로 실제 이어지는 두 개의 문장과 랜덤으로 이어붙인 두 개의 문장을 주고 훈련시킵니다.

예를들어 Sentence A와 Sentence B라고 하였을 때, 문장의 연속성을 확인한 경우와 그렇지 않은 경우를 보여줍니다.

이어지는 문장의 경우
Sentence A : The man went to the store.
Sentence B : He bought a gallon of milk.
Label = IsNextSentence

이어지는 문장이 아닌 경우 경우
Sentence A : The man went to the store.
Sentence B : dogs are so cute.
Label = NotNextSentence

 

앞에서 설명했듯이, BERT의 입력으로 넣을 때에는 [SEP]라는 특별 Token을 사용해서 문장을 구분합니다.

첫번째 문장의 끝에 [SEP] Token을 넣고, 두번째 문장이 끝나면 역시 [SEP] Token을 붙여줍니다.

이 두 문장이 실제 이어지는 문장인지 아닌지를 [CLS] Token의 위치의 Output Layer에서 Binary Classification 문제를 풀도록 합니다.

 

[CLS] 토큰은 BERT가 분류 문제를 풀기 위해 추가된 특별 Token 입니다.

위의 그림에서 나타난 것과 같이 MLM과 다음 문장 예측은 따로 학습하는 것이 아닌 loss를 합하여 학습이 동시에 이루어집니다.

Next Sentence Prediction, NSP (다음 문장 예측)의 장점

• 문장 레벨 이해 강화: 단어 수준을 넘어 문장 간의 관계를 학습하여, 문서 이해 능력을 향상시킵니다.
• 다양한 작업에 기여: 자연어 추론, 문장 유사도 측정 등 문장 관계를 필요로 하는 작업에서 성능을 높입니다.

---

BERT Model의 Fine-Tuning

Pre-Trained(사전 학습)된 BERT 모델은 일반적인 언어 이해 능력을 갖추고 있으므로, 특정 NLP 작업에 맞게 모델을 조정하는 Fine-Tuning(미세 조정)과정을 거칩니다. 이 단계에서는 비교적 소량의 라벨링된 데이터를 사용하여 Model을 Optimization(최적화)합니다.

 

다양한 NLP관련 Task에 적용을 할 수 있는데, 아래 여러개의 작업들이 있습니다.

텍스트 분류(Text Classification)

• 적용 분야: 감정 분석, 스팸 필터링, 주제 분류 등.
• 방법: [CLS] 토큰의 출력을 활용하여 문장의 대표 벡터를 얻고, 이를 분류기로 입력합니다.

질의 응답(Question Answering)

• 적용 분야: SQuAD와 같은 데이터셋에서 질문에 대한 정확한 답변 추출.
• 방법: 입력 텍스트와 질문을 함께 모델에 입력하고, 답변의 시작과 끝 위치를 예측합니다.

자연어 추론(Natural Language Inference)

• 적용 분야: 두 문장 간의 논리적 관계(예: 참, 거짓, 중립) 판단.
• 방법: 두 문장을 입력하여 [CLS] 토큰의 출력을 분류기로 사용합니다.

이름 인식(Named Entity Recognition)

• 적용 분야: 텍스트에서 사람, 장소, 조직 등의 고유 명사 식별.
• 방법: 각 토큰의 출력을 활용하여 해당 토큰의 엔티티 종류를 예측합니다.

이 작업을 중에서 텍스트 분류(Text Classification), 질의 응답(Question Answering)에 데하여 한번 알아보겠습니다.

---

Single Text Classification (하나의 텍스트 분류 유형)

이 유형은 영화 리뷰 감성 분류, 로이터 뉴스 분류 등과 같이 입력된 문서에 대해서 분류를 하는 유형입니다.
문서의 시작에 [CLS] 라는 토큰을 입력합니다.

앞서 사전 훈련 단계에서 다음 문장 예측을 설명할 때, [CLS] 토큰은 BERT가 분류 문제를 풀기위한 특별 토큰이라고 언급한 바 있습니다. BERT를 실질적으로 사용하는 단계인 파인 튜닝 단계에서도 적용됩니다.

 

Text Classification 문제를 풀기 위해서 [CLS] 토큰의 위치의 Output Layer에서 밀집층(Dense layer) 또는 같은 이름으로는 완전 연결층(fully-connected layer)이라고 불리는 Layer들을 추가하여 Classification에 대한 predict을 하게됩니다.

---

Tagging (하나의 텍스트에 데한 태깅 작업)

BERT를 사용하는 두번째 유형은 태깅 작업입니다.

 

앞서 RNN 계열의 신경망들을 이용해서 풀었던 태스크입니다.

대표적으로 문장의 각 단어에 품사를 태깅하는 품사 태깅 작업과 개체를 태깅하는 개체명 인식 작업이 있습니다.

출력층에서는 입력 텍스트의 각 토큰의 위치에 밀집층을 사용하여 분류에 대한 예측을 하게 됩니다.

---

Text Pair Classification or Regression (텍스트 쌍 분류 or 회귀 문제)

BERT는 Text의 Pair을 입력으로 받는 Task도 풀 수 있습니다.

 

Text 쌍을 입력으로 받는 Task로 자연어 추론(Natural language inference)이 있습니다.

두 문장이 주어졌을 때, 하나의 문장이 다른 문장과 논리적으로 어떤 관계에 있는지를 분류하는 것입니다.

유형으로는 모순 관계(contradiction), 함의 관계(entailment), 중립 관계(neutral)가 있습니다.

 

Text의 Pair을 입력받는 Task의 경우에는 위에 설명했듯이, 입력 텍스트가 1개가 아니므로, 텍스트 사이에 [SEP] 토큰을 집어넣고, Sentence 0, Sentence 1 임베딩이라는 Segment Embedding 을 사용하여 구분합니다.

---

Question Answering (질의 응답)

 

Text의 Pair을 입력받는 또 다른 Task로 QA(Question Answering)가 있습니다.

BERT로 QA를 풀기 위해서 Question(질문)과 Paragraph(본문)이라는 두 개의 Text의 Pair을 입력합니다.

이 Task의 대표적인 Dataset으로 SQuAD(Stanford Question Answering Dataset)이 있습니다.

---

BERT Model에서 Pre-Training(사전 학습)과 Fine-Tuning(미세 조정)의 시너지 효과

크게 3가지의 효과가 있습니다.

효율성 증대

• 대량의 Unsupervised(비지도) 데이터로 사전 학습을 수행하여, 소량의 Supervised(지도) 데이터로도 우수한 성능을 얻을 수 있습니다.

전이 학습(Transfer Learning)

• Pre-Training(사전 학습)된 지식을 다양한 Task에 적용하여, 새로운 모델을 처음부터 학습하는 것보다 빠르고 효율적으로 학습합니다.

일반화 능력 향상

• Pre-Training(사전 학습)을 통해 다양한 언어 패턴을 학습하였기 때문에, 새로운 데이터에도 잘 적용됩니다.

Fine-Tuning시 고려해야 할점.

다만 BERT Model에서 Fine-Tuning시 우리가 고려해야 할 점들이 있습니다.

• Overfitting(오버피팅) 방지
  • 작은 데이터셋에서 학습할 경우 오버피팅이 발생할 수 있으므로, 드롭아웃이나 조기 종료 등의 기법을 활용합니다.
• Learning Rate(학습률) 조절
  • 사전 학습된 파라미터가 급격하게 변경되지 않도록 작은 학습률(예: 2e-5)을 사용합니다.
• 데이터 전처리
  • 입력 데이터의 형식이 모델에 적합한지 확인하고, 특수 토큰과 세그먼트 임베딩을 정확하게 설정해야 합니다.
• Batch size(배치 크기)와 Epoch(에폭)수
  • 하드웨어 자원과 데이터셋 크기에 맞춰 적절한 배치 크기와 에폭 수를 선택합니다.

---

Summary

BERT의 핵심 개념, 아키텍처, 그리고 학습 과정에 대해 자세히 살펴보았습니다.

 

BERT는 Bidirectional Encoder Representations from Transformers의 약자로, 양방향성의 중요성을 강조하며 등장한 혁신적인 언어 모델입니다.

Transformer의 인코더 부분을 기반으로 한 BERT의 아키텍처는 Self-Attention 메커니즘을 활용하여 문맥의 전후 정보를 모두 고려하는 구조를 갖추고 있습니다.

 

Pre-Training(사전 학습)단계 에서는 Masked Language Model(MLM)과 Next Sentence Prediction(NSP) 같은 목표를 통해 대량의 텍스트 데이터로부터 일반적인 언어 이해 능력을 획득합니다.

이후 Fine-Tuning(미세 조정)단계에서는 이러한 사전 학습된 모델을 특정 NLP 작업에 맞게 조정하여, 감정 분석, 질의 응답, 문장 분류 등 다양한 응용 분야에서 뛰어난 성능을 발휘합니다.