[NLP] 통계 기반 기법 개선하기

앞에 글, Thesaurus(시소러스), Co-occurence Matrix(동시발생 행렬)부분에서 통계 기반 기법에 데하여 설명했습니다.

• Thesaurus(시소러스), Co-occurence Matrix(동시발생 행렬) 글입니다. 지금 내용과 연결되는 글이니까 한번 읽어보세요.

[NLP] Thesaurus(시소러스), Co-occurence Matrix(동시발생 행렬)

 

Pointwise Mutual Information (PMI) - 점별 상호정보량

• 동시발생 행렬의 원소는 두 단어가 동시에 발생한 횟수를 나타냅니다.
• 근데 '발생' 횟수라는 표현은 좋은 특징은 아닙니다. 많이 나오는 단어(고빈도 단어)를 생각해보면 알 수 있습니다.
• 단순히 등장 횟수로 관련성을 평가한다면, 많이 나오는 단어들의 연관성이 높다고 생각할 수 있겠죠. 실제로 보면 관련이 없는 단어일수도 있습니다.
• 그래서 이 문제를 해결하기 위해서 Pointwise Mutual Information(PMI), 점별 상호정보량 이라는 척도를 사용합니다.
• Pointwise Mutual Information(PMI)는 확률변수 x와 y에 대해 다음식으로 정의됩니다.

Pointwise Mutual Information(PMI)의 수식입니다.

• P(x)는 𝑥가 일어날 확률, P(y)는 𝑦가 일어날 확률, 𝑃(𝑥,𝑦)는 𝑥와 𝑦가 동시에 일어날 확률을 뜻합니다.
• 이 PMI 값이 높을수록 관련성이 높다는 의미입니다.
• 이 식을 적용하면 𝑃(𝑥)는 단어 𝑥가 Corpus(말뭉치)에 등장할 확률을 가리킵니다.
• 예컨대 10,000개의 단어로 이루어진 말뭉치에서 "the"가 100번 등장한다면?
  • 𝑃("𝑡ℎ𝑒") = 100/10000 = 0.01이 됩니다.
•  또한 𝑃(𝑥,𝑦)는 단어 𝑥와 𝑦가 동시발생할 확률이므로, 마찬가지로 "the"와 "car"가 10번 동시발생 했다면?
  • 𝑃("𝑡ℎ𝑒","𝑐𝑎𝑟")= 10/10000 =0.001 이 되는 것이죠.

• 그럼 Co-occurence Matrix (동시발생 행렬 - 각 원소는 동시발생한 단어의 횟수)을 사용하여 식을 를 다시 써봅시다.
• C는 Co-occurence Matrix (동시발생 행렬), 𝐶(𝑥,𝑦)는 단어 𝑥와 𝑦가 동시발생하는 횟수, 𝐶(𝑥)와 𝐶(𝑦)는 각각 단어 𝑥와 𝑦의 등장 횟수입니다.
• 이때 Corpus(말뭉치)에 포함된 단어 수를 𝑁이라 하면, 식는 다음과 같이 변합니다.

• 이렇게 Pointwise Mutual Information(PMI)라는 척도를 알게되었습니다.
• 근데, 문제가 Co-occurence(동시 발생 횟수)가 0이면 log⁡20=−∞ 가 됩니다. 
• 이 문제를 피하기 위해 실제로 구현할 때는 양의 상호정보량(Positive PMI, PPMI)을 사용합니다.

PPMI의 수식입니다.

• 이 식에 따라 PMI가 음수일 때는 0으로 취급합니다.
• 이제 단어 사이의 관련성을 0 이상의 실수로 나타낼 수 있습니다.
• 그러면 Co-occurence Matrix(동시발생 행렬)을 PPMI 행렬로 변환하는 함수를 구현해봅시다.

def ppmi(C, verbose=False, eps = 1e-8):
    '''PPMI(점별 상호정보량) 생성

    :param C: 동시발생 행렬
    :param verbose: 진행 상황을 출력할지 여부
    :return:
    '''
    M = np.zeros_like(C, dtype=np.float32)
    N = np.sum(C)
    S = np.sum(C, axis=0)
    total = C.shape[0] * C.shape[1]
    cnt = 0

    for i in range(C.shape[0]):
        for j in range(C.shape[1]):
            pmi = np.log2(C[i, j] * N / (S[j]*S[i]) + eps)
            M[i, j] = max(0, pmi)

            if verbose:
                cnt += 1
                if cnt % (total//100 + 1) == 0:
                    print('%.1f%% 완료' % (100*cnt/total))
    return M

• 여기에서 인수 C는 Co-occurence Matrix(동시발생 행렬), verbose는 진행상황 출력을 여부를 결정하는 플래그입니다.
• 큰 Corpus를 다룰 때 verbose=True로 설정하면 중간중간 진행 상황을 알려주죠.
• 참고로, 이 코드는 Co-occurence Matrix(동시발생 행렬)에 대해서만 PPMI 행렬을 구할 수 있도록 하고자 단순하게 구현했습니다.
• 구체적으로 말하면, 단어 𝑥와 𝑦가 동시에 발생하는 횟수를 𝐶(𝑥,𝑦)라 했을 때?

• 위의 수식처럼 되도록. 즉, 근사값을 구하도록 구현했습니다.
• 그러면 Co-occurence Matrix(동시발생 행렬)을 PPMI 행렬로 변환해 보겠습니다.

import sys
sys.path.append('..')
import numpy as np
from common.util import preprocess, create_co_matrix, cos_similarity, ppmi

text = 'You say goodbye and I say hello.'
corpus, word_to_id, id_to_word = preprocess(text)
vocab_size = len(word_to_id)
C = create_co_matrix(corpus, vocab_size)
W = ppmi(C)

np.set_printoptions(precision=3)  # 유효 자릿수를 세 자리로 표시
print('동시발생 행렬')
print(C)
print('-'*50)
print('PPMI')
print(W)

 

• 코드의 실행 결과는 아래와 같습니다.

동시발생 행렬
[[0 1 0 0 0 0 0]
 [1 0 1 0 1 1 0]
 [0 1 0 1 0 0 1]
 [0 0 1 0 1 0 0]
 [0 1 0 1 0 1 0]
 [0 1 0 0 1 0 1]
 [0 0 0 0 0 1 0]]

PPMI
[[0.    1.807 0.    0.    0.    0.    0.   ]
 [1.807 0.    0.807 0.    0.807 0.807 0.   ]
 [0.    0.807 0.    1.807 0.    0.    1.807]
 [0.    0.    1.807 0.    1.807 0.    0.   ]
 [0.    0.807 0.    1.807 0.    0.807 0.   ]
 [0.    0.807 0.    0.    0.807 0.    2.807]
 [0.    0.    0.    0.    0.    2.807 0.   ]]

 

• 이것으로 Co-occurence Matrix(동시발생 행렬)을 PPMI 행렬로 변환하는 법을 알아봤습니다.
• 이때 PPMI 행렬의 각 원소는 0 이상의 실수입니다. 이제 더 좋은 척도로 이뤄진 Matrix(더 좋은 단어 Vector)을 손에 쥐었습니다.
• 그러나 PPMI 행렬에도 여전히 큰 문제가 있습니다!
  • Corpus(말뭉치)의 어휘 수가 증가함에 따라 각 단어 Vector의 Dimension(차원) 수도 증가한다는 문제죠.
  • 예를 들어 Corpus(말뭉치)의 어휘 수가 10만 개라면 그 벡터의 차원 수도 똑같이 10만이 됩니다.
  • 10만 차원의 벡터를 다룬다는 것은 그다지 현실적이지 않습니다.
• 또한, 이 행렬의 내용을 들여다보면 원소 대부분이 0인 것을 알 수 있습니다.
• Vector의 원소 대부분이 중요하지 않다는 뜻이죠. 다르게 표현하면 각 원소의 '중요도'가 낮다는 뜻입니다.
• 더욱이 이런 Vector는 노이즈에 약하고 견고하지 못하는 약점도 있지요.
• 이 문제에 대처하고자 자주 수행하는 기법이 바로 벡터의 Dimension Reduction(차원 감소)입니다.

---

Dimension Reduction - 차원 감소

차원 감소(dimensionality reduction)는 문자 그대로 벡터의 차원을 줄이는 방법을 말합니다.

• 그러나 단순히 줄이기만 하는 게 아니라, '중요한 정보'는 최대한 유지하면서 줄이는 게 핵심입니다.
• 직관적인 예로 아래의 그래프를 보면, 데이터의 분포를 고려해서 중요한 '축'을 찾는 일을 수행합니다.

2차원 데이터를 1차원으로 표현하기 위해 중요한 축(데이터를 넓게 분포시키는 축)을 찾습니다.

• 왼쪽은 데이터점들을 2차원 좌표계에 표시한 모습입니다.
• 그리고 오른쪽은 새로운 축을 도입하여 똑같은 데이터를 좌표축 하나만으로 표시했습니다(새로운 축을 찾을 때는 데이터가 넓게 분포되도록 고려해야 합니다).
• 이때 각 데이터점의 값은 새로운 축으로 사영된 값으로 변환됩니다.
• 여기서 중요한 것은 가장 적합한 축을 찾아내는 일로, 1차원 값만으로도 데이터의 본질적인 차이를 구별할 수 있어야 합니다.
• 이와 같은 작업은 다차원 데이터에 대해서도 수행할 수 있습니다.

• 차원을 감소시키는 방법은 여러 가지입니다만, 이번에는 특잇값분해(Singular Value Decomposition, SVD)를 이용하겠습니다.
• 특잇값분해(Singular Value Decomposition, SVD)는 임의의 행렬을 세 행렬의 곱으로 분해하며, 수식으로는 다음과 같이 나타냅니다.

• 같이 SVD는 임의의 행렬 𝑋를 𝑈,𝑆,𝑉 라는 세 행렬의 곱으로 분해합니다.
• 여기서 𝑈와 𝑉𝑇는 직교행렬(orthogonal matrix)이고, 그 열벡터는 서로 직교합니다.
• 또한 𝑆는 대각행렬(diagonal matrix)(대각성분 외에는 모두 0인 행렬)입니다.
• 이 수식을 시각적으로 표현한 것이 아래의 그림입니다.

SVD에 의한 행렬의 변환 (행렬의 '빈 부분'은 원소가 0임을 뜻함)

• 𝑈는 직교행렬입니다. 그리고 이 직교행렬은 어떠한 공간의 축(기저)을 형성합니다.
• 지금 우리의 Corpus(말뭉치)에서는 이 𝑈 행렬을 '단어 공간'으로 취급할 수 있죠.
• 또한 𝑆는 대각행렬로, 그 대각성분에는 '특잇값'(singular value)이 큰 순서로 나열되어 있습니다.
• 특잇값이란, 쉽게 말해 '해당 축의 중요도'라고 간주할 수 있습니다.
• 그래서 같이 중요도가 낮은 원소(특잇값이 작은 원소)를 깎아내는 방법을 생각할 수 있습니다.

SVD에 의한 Dimension Reduction(차원 감소)

• 행렬 𝑆에서 특잇값이 작다면 중요도가 낮다는 뜻이므로, 행렬 𝑈에서는 여분의 열Vector를 깎아내어 원래의 행렬을 근사할 수 있습니다.
• 이를 우리 문제로 가져와서 '단어의 PPMI 행렬'에 적용해볼까요?
• 그러면 행렬 𝑋X의 각 행에는 해당 단어 ID의 단어 벡터가 저장되어 있으며,
• 그 단어 벡터가 행렬 𝑈′라는 차원 감소된 벡터로 표현되는 것입니다.

단어의 동시발생 행렬을 정방행렬이지만, 이해 하기 쉽게 직사각형으로 그렸습니다.
또한 여기에서는 SVD를 직관적이고 간략하게만 설명했습니다.

---

SVD (특잇값분해)에 의한 Dimension Reduction(차원 감소)

이제 SVD를 파이썬 코드로 살펴봅시다. 

• 이제 SVD를 파이썬 코드로 살펴봅시다.
• SVD는 넘파이의 linalg 모듈이 제공하는 svd 메서드로 실행할 수 있습니다.
• 참고로, "linalg"는 선형대수(linear algebra)의 약어입니다.
• 그럼, 동시발생 행렬을 만들어 PPMI 행렬로 변환한 다음 SVD를 적용해봅시다.

import sys
sys.path.append('..')
import numpy as np
import matplotlib.pyplot as plt
from common.util import preprocess, create_co_matrix, ppmi

text = 'You say goodbye and I say hello.'
corpus, word_to_id, id_to_word = preprocess(text)
vocab_size = len(id_to_word)
C = create_co_matrix(corpus, vocab_size, window_size=1)
W = ppmi(C)

# SVD
U, S, V = np.linalg.svd(W)

print(C[0])  # 동시발생 행렬
# [0 1 0 0 0 0 0]

print(W[0])  # PPMI 행렬
# [0.    1.807 0.    0.    0.    0.    0.   ]

print(U[0])  # SVD
# [ 3.409e-01 -1.110e-16 -1.205e-16 -4.441e-16  0.000e+00 -9.323e-01
#   2.226e-16]

print(U[0, :2])
# [ 3.409e-01 -1.110e-16]

• 이 결과에서 보듯 원래는 희소 Vector인 𝑊[0]가 SVD에 의해서 밀집 Vector 𝑈[0]로 변환되었습니다.
• 그리고 이 밀집 Vector의 Dimension(차원)을 Reduction(감소)시키려면, 예컨대 2-Dimension Vector(2차원 벡터) 줄이려면 단순히 처음의 두 원소를 꺼내면 됩니다.

print(U[0, :2])
# [ 3.409e-01 -1.110e-16]

• 그러면 각 단어를 2차원 벡터로 표현한 후 그래프로 그려봅시다.

for word, word_id in word_to_id.items():
    plt.annotate(word, (U[word_id, 0], U[word_id, 1]))

plt.scatter(U[:, 0], U[:, 1], alpha=0.5)
plt.show()

Co-Occurance Matrix에 SVD를 적용한 후, 각 단어를 2-Dimension Vector로 변환해 그린 그래프 입니다.

• 보면 "goodbye"와 "hello", "you"와 "i"가 제법 가까이 있음을 알 수 있습니다.
• 우리의 생각과 비교적 비슷하죠. 하지만 지금 사용한 Corpus(말뭉치)가 아주 작아서 이 결과를 그대로 받아들이기에는 좀 그렇습니다.
• 그래서 PTB Dataset이라는 더 큰 Corpus(말뭉치)를 사용해서 해보겠습니다.

---

PTB Dataset

이번에는 적당히 큰? Corpus(말뭉치)인 펜 트리뱅크(Penn Treebank, PTB) Dataset을 활용해 보겠습니다.

PTB 말뭉치는 주어진 기법의 품질을 측정하는 벤치마크로 자주 이용됩니다.

• 이 PTB 말뭉치는 텍스트 파일로 제공되며, 원래의 PTB 문장에 몇 가지 전처리를 해두었습니다.
• 예컨대 희소한 단어를 <unk>라는 특수 문자로 치환한다거나 <unk>는 "unknown"의 약어, 구체적인 숫자를 "N"으로 대체하는 등의 작업이 적용되었습니다.

1 consumers may want to move their telephones a little closer to the tv set
2 <unk> <unk> watching abc 's monday night football can now vote during <unk> for the greatest play in N years from among four or five <unk> <unk>
3 two weeks ago viewers of several nbc <unk> consumer segments started calling a N number for advice on various <unk> issues
4 and the new syndicated reality show hard copy records viewers ' opinions for possible airing on the next day 's show
5 interactive telephone technology has taken a new leap in <unk> and television programmers are racing to exploit the possibilities
6 eventually viewers may grow <unk> with the technology and <unk> the cost

• 위에서 보듯 PTB 말뭉치에서는 한 문장이 하나의 줄로 저장되어 있습니다.
• 이 책에서는 각 문장을 연결한 '하나의 큰 시계열 데이터'로 취급합니다.
• 이때 각 문장 끝에 <eos>라는 특수 문자를 삽입합니다.
• 다음은 ptb.py를 사용하는 예입니다.

import sys
sys.path.append('..')
from dataset import ptb

corpus, word_to_id, id_to_word = ptb.load_data('train')

print('말뭉치 크기:', len(corpus))
print('corpus[:30]:', corpus[:30])
print()

print('id_to_word[0]:', id_to_word[0])
print('id_to_word[1]:', id_to_word[1])
print('id_to_word[2]:', id_to_word[2])
print()

print("word_to_id['car']:", word_to_id['car'])
print("word_to_id['happy']:", word_to_id['happy'])
print("word_to_id['lexus']:", word_to_id['lexus'])

• 아래는 실행 결과입니다.

corpus size: 929589
corpus[:30]: [ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29]

id_to_word[0]: aer
id_to_word[1]: banknote
id_to_word[2]: berlitz

word_to_id['car']: 3856
word_to_id['happy']: 4428
word_to_id['lexus']: 7426

• 말뭉치를 다루는 방법은 지금까지와 같습니다.
• corpus에는 단어 ID 목록이 저장됩니다.
• id_to_word는 단어 ID에서 단어로 변환하는 딕셔너리이고, word_to_id는 단어에서 단어 ID로 변환하는 딕셔너리입니다.

 

 

PTB Dataset 평가

PTB 데이터셋에 통계 기반 기법을 적용해봅시다.

• 이번에는 큰 행렬에 SVD를 적용해야 하므로 고속 SVD를 이용할 것을 추천합니다.

import sys
sys.path.append('..')
import numpy as np
from common.util import most_similar, create_co_matrix, ppmi
from dataset import ptb

window_size = 2
wordvec_size = 100

corpus, word_to_id, id_to_word = ptb.load_data('train')
vocab_size = len(word_to_id)
print('동시발생 수 계산 ...')
C = create_co_matrix(corpus, vocab_size, window_size)
print('PPMI 계산 ...')
W = ppmi(C, verbose=True)

print('SVD 계산 ...')
try:
    from sklearn.utils.extmath import randomized_svd
    U, S, V = randomized_svd(W, n_components=wordvec_size, n_iter=5, random_state=None)
except ImportError:
    U, S, V = np.linalg.svd(W)

word_vecs = U[:, :wordvec_size]

querys = ['you', 'year', 'car', 'toyota']
for query in querys:
    most_similar(query, word_to_id, id_to_word, word_vecs, top=5)

• SVD를 수행하는 데 sklearn의 randomized_svd() Method를 이용했습니다.
• 이 Method는 무작위 수를 사용한 Truncated SVD로, 특잇값이 큰 것들만 계산하여 기본적인 SVD보다 훨씬 빠릅니다.
• 나머지 부분은 앞서 작은 말뭉치를 사용한 코드와 거의 같습니다.
• 실행 결과는 아래와 같습니다.

[query] you
i: 0.702039909619
we: 0.699448543998
ve: 0.554828709147
do: 0.534370693098
else: 0.512044146526

[query] year
month: 0.731561990308
quarter: 0.658233992457
last: 0.622425716735
earlier: 0.607752074689
next: 0.601592506413

[query] car
luxury: 0.620933665528
auto: 0.615559874277
cars: 0.569818364381
vehicle: 0.498166879744
corsica: 0.472616831915

[query] toyota
motor: 0.738666107068
nissan: 0.677577542584
motors: 0.647163210589
honda: 0.628862379043
lexus: 0.604740429865

• 결과를 보면, 우선 'you'라는 검색어에서는 인칭대명사인 'i'와 'we'가 상위를 차지했음을 알 수 있습니다.
• 영역 문장에서는 관용적으로 자주 같이 나오는 단어들이기 때문이죠.
• 또, 'year'의 연관어로는 'month'와 'quarter'가, 'car'의 연관어로는 'auto'와 'vehicle' 등이 뽑혔습니다.
• 그리고 'toyota'와 관련된 단어로는 'nissan', 'honda', 'lexus' 등 자동차 제조업체나 브랜드가 뽑힌 것도 확인할 수 있습니다.
• 이처럼 단어의 의미 혹은 문법적인 관점에서 비슷한 단어들이 가까운 벡터로 나타났습니다.
• 생각한거랑 비슷한 결과라고 할 수 있겠네요.

---

Summary

Co-Occurance Matrix (동시발생 행렬)을 PPMI 행렬로 변환하고 다시 Dimension(차원)을 Reduction(감소)시킴으로써, 거대한 '희소벡터'를 작은 '밀집벡터'로 변환할 수 있다.
단어의 Vector 공간에서는 의미가 가까운 단어는 그 거리도 가까울 것으로 기대된다.