[NLP] Word2Vec, CBOW, Skip-Gram - 개념 & Model

1. What is Word2Vec?

Word2Vec은 단어를 벡터로 변환하는데 사용되는 인기있는 알고리즘 입니다. 여기서 단어는 보통 'Token' 토큰 입니다.

• 이 알고리즘은 단어(Token)들 사이의 의미적 관계를 Vector 공간에 잘 표현할 수 있는 방법을 학습하는 비지도방식(Unsupervised learning)으로 설계한 알고리즘 입니다.
• 주변 단어들(문맥)을 통해서 각 단어들을 예측하거나, 반대로 각 단어들을 통해 주변의 단어들을 보고 예측하는 방식으로 작동합니다.
  • 비유 하자면 이미지를 학습하듯, 단어를 Vector로 보고 학습합니다.

• 이렇게 Word2Vec은 단어들 사이의 의미적인 관계를 파악합니다.

Word2Vec은 단어들 사이의 의미적인 관계를 파악

• 그리고, 위의 그림에 있는 문장을 이용해 모델을 학습 시키기 위해서 각 단어(Token)들을 연산이 가능한 형태로 변환, 즉 Vector로 변환해서 연산을 해야 합니다.

 

그런데, Word2Vec에 데하여 공부해보니까, 주변 단어들을 추론해서 의미적인 관계를 파악한다는 말이 있습니다.

• Word2Vec는 단어의 의미를 가능한 잘 표현하는 Vector를 학습하는것이 주 목적이기 때문에 '추론'이라는 말 보다는 '표면 학습'이라는 개념에 더 가깝다고 할 수 있습니다.
  • 다만, 추론은 Word2Vec를 사용하여 Vector화를 한후 문장 or 문서를 분류, 아니면 단어의 유사성을 계산할때에 사용될 수 있다고 합니다.

 

예시를 한번 들어보면 Word2Vec 벡터로 더하기 빼기 연산을 할 수 있습니다. 

• Word2Vec를 사용하면 '왕' - '남자' + '여자' =  '여왕'
• 이렇게 좌변을 넣어버리면 우변의 답이 나오는것 처럼 이렇게에 가까운 벡터를 얻을 수 있습니다.
• 이런 연산이 가능한 이유는 위에서 설명했지만 각 단어의 Vector 간의 유사도를 반영하는 방식이기 때문입니다.

---

2. 희소 표현 (Sparse Repesentation)

• 그리고 Word2Vec은 단어(Token)들을 One-hot Vector로 표현 한다는 특징이 있습니다.
• 단어들의 모음집 (즉, 고유사전 or 말뭉치(Corpus))를 가지고 One-hot-Vector로 표현하는 특징이 있습니다.

One-hot Vector 예시 그림

• 이렇게 Vector의 값을 대부분 0으로 표현하는 방법을 희소 표현(Sparse Representation)이라고 합니다.

예시를 한번 들어보겠습니다.

• 예를 들어서 'cat', 'dog', 'apple' 세 단어가 있을 때, 'cat'은 [1, 0, 0], 'dog'는 [0, 1, 0], 'apple'은 [0, 0, 1]로 표현됩니다.
• 근데 희소 표현(Sparse Representation)의 단점은 각 단어 Vector간 유의미한 유사성을 표현할 수 없다는 단점이 있었습니다.
• 그래서 이 단점을 다차원 공간에 벡터화 하는 방법을 사용했는데, 이 표현 방법은 분산 표현(Distributed Representation)이라고 합니다.
  • 그리고 분산 표현(Distributed Representation)을 이용하여 단어 간 의미를 다차원 공간에 Vector화 하는 방법을 Word Embedding 방법이라고 하며, Word Embedding 방법을 사용해서 표현한 벡터를 Embedding Vector라고 합니다.
• Word Embedding에 데해선 다음글에서 적도록 하겠습니다.

---

3. 분산 표현(Distributed Representation)

분산표현(Distributed Representation)은 단어(Token)를 고차원에서 벡터로 표현하지만, 각 단어(Token)는 여러 차원에 분산되어 표현됩니다.

• 분산 표현(Distributed Representation)은 각 차원의 특정 의미적 특성을 포착하도록 설계되었기 때문입니다.
• 또한 분산 표현(Distributed Representation)은 분포 가설을 이용하여 Text를 학습하고, 단어(Token)의 의미를 Vector의 여러 Dimension(차원)에 분산하여 표현합니다.
• 이렇게 Vector를 표현을 하면 벡터의 Dimension(차원)이 저차원으로 줄어듭니다.
  • 이유는 분산 표현(Distributed Representation)으로 표현된 Vector들은 One-hot Vector처럼 Vector의 차원이 단어 집합의 크기일 필요가 없기 때문이기도 하고, 다시 설명하자면 각 Dimension(차원)이 단어의 의미적 특징을 포착하도록 설계되었기 때문입니다.

예시를 한번 들어보겠습니다. 

• 한 Dimension(차원)은 '생물' vs '무생물', 다른 Dimension(차원)은 '긍정적' vs '부정적' 같은 의미적 특성을 나타낼 수 있습니다.
• 이렇게 하면 각 단어는 여러 Dimension(차원)은 여러 차원에 걸쳐 분산되어서 표현하기 때문에, 단어의 의미를 더 잘 포착할 수 있게 합니다.
• 따라서 분산 표현은 단어(Token)의 의미를 더 효율적으로, 더 낮은 차원에서 표현하게 해주며, 의미적 관계를 포착하면서 계산적 효율성을 높이는데 도움을 줍니다.
• 대표적인 학습 방식이 바로 Word2Vec 입니다.

---

4. CBOW(Continuous Bag of Words)

CBOW 모델은 주변 단어들(Context-문맥)을 input으로 사용해서 중간에 있는 단어들을 예측하는 방법입니다.

• 한번 매커니즘을 보겠습니다.
• 예문: "The fat cat sat on the mat"
• 이렇게 가지고 있는 어휘집합(Corpus)에 이런 단어들이 있다고 해봅시다.
  • ['The', 'fat', 'cat', 'on', 'the', mat'] 에서 'sat' 단어를 예측하는건 CBOW가 합니다.
  • 이때 예측해야 하는 단어 'sat'은 Center Word(중심 단어)라고 하고, 예측에 사용되는 들은 Context Word(주변 단어)라고 합니다.
• 우리가 여기서 Center Word(중심 단어)인 'sat' 단어를 예측하기 위해서는 앞, 뒤로 몇개의 단어를 볼지 알아야 하는데, 이 앞 뒤의 범위를 Window(윈도우)라고 합니다.

CBOW Example

"The fat cat sat on the mat" 예문을 보면서 설명을 드리겠습니다.

• Window(윈도우)의 크기가 2이고, Center Word(중심 단어)로 'sat' 단어를 예측하러면, 앞의 두단어 fat, cat 뒤의 두단어 on, the를 input으로 사용합니다.
• Window(윈도우)의 크기를 n이라고 하면, 실제의 Center Word(중심 단어)를 예측하기 위해서 참고해야 하는 단어의 개수는 2n입니다.

CBOW(Continuous Bag of Words) 예측 방식 시각화. 출처:https://wikidocs.net/22660

• Window(윈도우)의 크기가 정해지면 옆으로 움직여서 주변 단어와 Center Word(중심 단어)의 선택을 봐꾸면서 학습에 사용하기 위한 Dataset을 만드는데 이걸 Sliding Window(슬라이딩 윈도우)방법 이라고 합니다.
• 위의 그림은 Word2Vec 에서의 input은 모두 One-Hot Vector가 되는데, 그림에서 오른쪽 표는 중심 & 주변 단어의 선택에 따라서 각각 One-Hot Vector가 되는지를 보여줍니다. (CBOW에 사용되는 전체 데이터셋을 본다는 말입니다)

---

CBOW의 인공신경망

CBOW의 인공신경망에 데하여 한번 알아보겠습니다. 아래의 그림은 CBOW의 인공신경망을 시각화 한것입니다.

CBOW의 인공신경망 시각화. 출처:https://wikidocs.net/22660

• Input layer(입력층)에 입력값을 넣습니다. 입력값들은 앞, 뒤로 정해져 있는 Window(윈도우)의 크기 범위 안에 있는 주변 단어들의  One-Hot Vector가 들어갑니다.
• Output layer(출력층)에서 예측하고자 하는 중간 단어의 One-Hot Vector가 label로 필요합니다.
• 그리고 위의 그림에서 알수 있는건 Word2Vec은 Hidden Layer(은닉층)이 1개인 Shallow Neural Network(얕은 신경망)이라는 점입니다.
• 그리고 Word2Vec의 특징중 하나는Word2Vec에서의 Hidden Layer(은닉층)는 Activation Function(활성화 함수)가 존재하지 않으며 Lookup Table(룩업 테이블)이라는 연산을 담당하는 층, Projection Layer(투사층)이라고 합니다.

---

CBOW의 동작 메커니즘

CBOW의 인공신경망을 확대. 출처:https://wikidocs.net/22660

CBOW의 동작 메커니즘에 데하여 한번 보겠습니다.

 

• 여기서 봐야하는건 일단 Projection Layer(투사층)의 크기가 M이라는 점입니다. 
• CBOW에서의 Projection Layer(투사층)의 크기 M은 Embedding 하고난 Vector의 차원이 뒵니다.
• 위의 그림에서의 Projection Layer(투사층)의 크기는 5이므로 CBOW를 하고 얻는 각 단어의 Embedding Vector의 차원은 5입니다.

+ Embedding: 범주형 데이터를 수치영 데이터로 변환하는 방법. 유사한 객체들이 Vector 공간에 가까이 위치하도록 하는 방식

그리고 우리가 하나 더 주목해야 할 점도 있습니다.

• Input Layer(입력층) & Projection Layer(투사층) 사이의 Weight(가중치, 여기선 W)는 V * M 행렬 입니다.
• Projection Layer(투사층)사이의 Weight(가중치) W'은 M * V 행렬입니다.
  • V는 Context(단어) 집합의 크기 Vector를 의미합니다.
  • M은 앞에서 설명했지만 Projection Layer(투사층)의 크기 입니다.
• 위의 그림을 보면 One-Hot Vector의 Dimension(차원)이 7이고, M(투사층의 크기)가 5이면?
• 가중치 행렬 W는 7 * 5 행렬, W'은 5 * 7 행렬이 됩니다. 이 두 행렬은 서로 다른 행렬입니다.
• 인공 신경망을 훈련할때의 가중치 행렬 W & W'은 Random Value를 가지고 있습니다. 
• CBOW는 주변 단어로 Center Word(중심 단어)를 잘 맞추기 위해서 가중치 행렬 W & W'를 학습하는 구조입니다.

---

Lookup Table (룩업 테이블)

입력으로 들어오는 주변 단어의 One-Hot Vector와 가중치 W 행렬의 곱. 출처:https://wikidocs.net/22660

Input으로 들어오는 주변 단어의 One-Hot Vector와 가중치 W행렬의 곱을 어떻게 하는지 한번 알아보겠습니다.

• Input Vector(입력 벡터)는 주변 단어들의 One-Hot Vector를 x로 표현했습니다.
• i번째 index에 1이라는 값이 있고, 그외의 0의 값을 가지는 Input Vector(입력 벡터)와 Weight(가중치) 행렬 W의 곱은 W행렬의 i번째 행렬을 그대로 가져오는것과 같습니다. 무슨말이냐?
  • 한번 예시를 들어서 설명을 해보면 One-Hot Vector가 [0, 0, 1, 0]이고, Weight(가중치) 행렬 W랑 곱한다고 하면, 실제로는 W의 세번째 행만 가져옵니다. 
  • 이유는 Vector의 각 요소는 행렬의 해당 행에 곱해지는데, One-Hot Vector에서의 1 이의의 모든 값은 0이기 때문에, 0이 곱해진 행은 모두 사라지고, 1에 곱해진 행만 남습니다.
  • 이래서 One-Hot Encoding된 Vector를 Weight(가중치) 행렬과 곱하는것은 해당 Vector에서 1의 위치에 해당하는 Weight(가중치) 행렬의 행을 선택하는것과 같습니다.
• 이 작업을 Lookup Table(룩업 테이블)이라고 합니다. 또한 Lookup한 W의 각 행 Vector가 Word2Vec 알고리즘을 통해서 학습한 후 각 단어의 M 차원의 임베딩 Vector로 간주됩니다.

---

출처:https://wikidocs.net/22660

• 이렇게 주변 단어의 One-Hot Vector에 대해서 Weight(가중치) W가 곱해져 생겨진 결과 Vector들은 Projection Layer(투사층)에서 Vector들의 평균을 내어서 평균 Vector를 구합니다.
  • 예시를 들면, 만약의 윈도우 크기가 2, n = 2 이면, Input Vector(입력 벡터)의 총 개수는 2n이므로 Center Word(중심 단어)를 예측하려면 총 4개가 Input Vector(입력 벡터)로 사용됩니다.
  • 그러면 평균을 구할때 4개의 Vector를 가지고 평균을 구하게 됩니다.
• Projection Layer(투사층)에서 Vector의 평균을 구하는 방식은 CBOW와 Skip-Gram이 서로 다릅니다.
  • 참고로 Skip-Gram은 Input으로 들어오는 값이 Center Word(중심 단어)하나이므로, Projection Layer(투사층)에서 Vector이 평균을 구하지 않습니다.

출처:https://wikidocs.net/22660

이렇게 평균 벡터를 구하면 두번쩨 Weight(가중치) 행렬 W'와 곱해집니다.

• 곱하면, One-Hot Vector과 Dimension(차원)이 동일한 V 벡터가 나옵니다.
• 만약 Input Vector(입력 벡터)의 Dimension(차원)이 7이면 Output Vector도 7이 나옵니다.
• CBOW 알고리즘에서는 Softmax 함수를 지나면서 Vector의 각 원소의 값은 0과 1사이의 실수형(Float)형테로 나오고, Vector들의 총합은 1로 나옵니다. 다중 클래스 분류를 위한 일종의 Score Vector와 같은 개념입니다.

Softmax 함수: 확률적인 관점에서 여러 선택지중 하나를 선택하는데 사용됨. 주어진 입력값들에 대해서 각각의 확률값을 계산하고, 이들 값들의 총합이 1로 되게 합니다. -> 여기서 출력값은 확률로 해석할 수 있습니다.

• Score Vector의 J번째 Index가 가진 0~ 1 사이의 값은 j번째 단어가 그 벡터의 Center Word(중심 단어)일 확률을 나타냅니다.
• 그리고 Score Vector의 값은 Label의 해당하는 Center Word(중심 단어)의 One-Hot Vector 값에 가까워 져야 합니다. 이게 무슨 말이냐..? 한번 설명해 보겠습니다.
  • Score Vector를 y^ 라고 하고, Center Word(중심 단어)의 One-Hot Vector 값을 y라고 했을때, 이 두 vector의 오차 값을줄이기 위해서 CBOW 알고리즘에서는 loss function(손실함수)로 Cross-entropy 함수를 사용합니다.

Cross-Entropy 함수: 딥러닝에서 주로 사용되는 Loss Function(손실함수), 원본의 분포값, 예측의 분포값 사이의 차이를 측정하는 방법. 원본의 분포값, 예측의 분포값 사이의 차이가 크면 Cross-Entropy의 값이 높아지고, 아니면 작아집니다.

• Cross-entropy 함수에 Center Word(중심 단어)인 One-Hot Vector와 Score Vector를 Input으로 넣습니다.
• 이 과정을 식으로 표현하면 아래와 같습니다. 아래 수식에서 V는 단어 집합의 크기입니다. 

출처:https://wikidocs.net/22660

• Back Propagation(역전파)을 하면 가중치 행렬 W, W'이 학습이 되는데, 학습이 다 되면 M 차원의 크기를 가지는 가중치 행렬 W의 행을 각 단어의 Embedding Vector로 사용하거나, W, W' 행렬 2가지를 모두 가지고 Embedding Vector를 사용합니다.

---

5. Skip-Gram

CBOW에서는 주변단어 를 통해서 Center Word(중심 단어)를 예측했다면, Skip-gram은 Center Word(중심 단어)에서 주변 단어를 예측합니다.

• 예를 들어서 한번 설명해보면, "고양이가 쥐를 쫒는다" 라고 하면, "쥐를"이라는 단어를 받아 그 주변의 단어들 ("고양이가", "쫓는다")를 예측하려고 합니다.
• 이걸 보면 Skip-Gram Model은 단어들 사이의 연관성을 학습합니다. 그리고 그 연관성은 단어 Embedding이라고 표현됩니다.
  • 그리고 이 Embedding은 단어의 의미를 수치적 Vector로 표현했습니다. 이 수치적 Vector는 단어 사이의 유사성을 계산하는데 사용됩니다.
• Window(윈도우)의 크기가 2이면, 데이터셋은 다음과 같이 구성됩니다.

Skip-Gram 데이터셋 예시. 출처:https://wikidocs.net/22660

• 인공신경망을 시각화 해보면 아래의 그림과 같습니다.

Skip-Gram 인공신경망. 출처:https://wikidocs.net/22660

• Center Word(중심 단어)에서 주변단어를 예측하기 때문에, Projection Layer(투사층)에서 Vector의 평균을 구하지 않습니다.
• 이유는 Skip-Gram Model은 각각의 주변 단어를 독립적으로 Predict(예측)하기 때문입니다.
• Skip-Gram Model은 Center Word(중심 단어)에서 주변단어를 예측할때, 각 주변단어에 대한 예측은 독립적으로 이루어 지므로, 한 단어의 예측이 다른 단어의 예측에 영향을 주지 않습니다.