๐ Natural_Language_Processing
RNNLM (RNN์ ์ฌ์ฉํ Language (์ธ์ด) ๋ชจ๋ธ)์ด๋ฒ์๋ RNN์ ์ฌ์ฉํ์ฌ Language Model(์ธ์ด ๋ชจ๋ธ)์ ๊ตฌํํด ๋ณด๊ฒ ์ต๋๋ค.๊ทธ ์ ์ ๋จผ์ ์ฌ์ฉ๋๋ Neural Network(์ ๊ฒฝ๋ง)์ ํ๋ฒ ๋ณด๊ณ ์์ํด๋ณด๊ฒ ์ต๋๋ค.์ผ์ชฝ์ RNNLM์ ๊ณ์ธต ๊ตฌ์ฑ์ด๊ณ , ์ค๋ฅธ์ชฝ์๋ ์ด๋ฅผ ์๊ฐ์ถ์ผ๋ก ํผ์น Neural Network(์ ๊ฒฝ๋ง)์
๋๋ค.๊ทธ๋ฆผ์ Embedding Layer(๊ณ์ธต)์ ๋จ์ด ID์ ๋ถ์ฐ ํํ (๋จ์ด Vector)๋ก ๋ณํ๋ฉ๋๋ค.๊ทธ๋ฆฌ๊ณ ๊ทธ ๋ถ์ฐ ํํ์ด RNN Layer(RNN ๊ณ์ธต)๋ก ์
๋ ฅ๋ฉ๋๋ค.RNN ๊ณ์ธต์ Hidden State(์๋ ์ํ)๋ฅผ ๋ค์ Layer(์ธต)์ผ๋ก ์ถ๋ ฅํจ๊ณผ ๋์์, ๋ค์ ์๊ฐ์ RNN ๊ณ์ธต(์ค๋ฅธ์ชฝ)์ผ๋ก ์ถ๋ ฅ๋ฉ๋๋ค.๊ทธ๋ฆฌ๊ณ RNN ๊ณ์ธต์ด ์๋ก ์ถ๋ ฅํ Hidden State(..
๐ Natural_Language_Processing
BPTT (Backpropagation Through Time)BPTT(Backpropagation Through Time)๋ ์ํ ์ ๊ฒฝ๋ง(RNN, Recurrent Neural Network)์ ํ์ต์ ์ํด ์ฌ์ฉ๋๋ Backpropagation(์ญ์ ํ) ์๊ณ ๋ฆฌ์ฆ์ ํ์ฅ ๋ฒ์ ์
๋๋ค.์ฌ๊ธฐ์์ Backpropagation(์ค์ฐจ์ญ์ ํ๋ฒ)์?'์๊ฐ ๋ฐฉํฅ์ผ๋ก ํผ์น ์ ๊ฒฝ๋ง์ ์ค์ฐจ์ญ์ ํ๋ฒ' ์ด๋ ๋ป์ผ๋ก BPTT(Backpropagation Through Time)์ด๋ผ๊ณ ํฉ๋๋ค.์ด BPTT๋ฅผ ์ฌ์ฉํ๋ฉด RNN์ ํ์ตํ ์ ์์ต๋๋ค. RNN์ ๊ดํ ๊ฐ๋
์ ์๋์ ๊ธ์ ์ ์ด๋์์ผ๋ ์ฐธ๊ณ ํด ์ฃผ์๋ฉด ๋ ๊ฑฐ ๊ฐ์ต๋๋ค. [DL] RNN (Recurrent Netural Network) - ์ํ์ ๊ฒฝ๋ง1. RNN ์ด๋?RNN์ Sequ..
๐ Natural_Language_Processing
์ด๋ฒ ๊ธ์์๋ ์ถ๋ก ๊ธฐ๋ฐ ๊ธฐ๋ฒ๊ณผ Neural Network(์ ๊ฒฝ๋ง)์ ๋ฐํ์ฌ ํ๋ฒ ์์ ๋ณด๊ฒ ์ต๋๋ค. ํต๊ณ ๊ธฐ๋ฐ ๊ธฐ๋ฒ์ ๋ฌธ์ ์ ๋จ์ด๋ฅผ Vector๋ก ํํํ๋ ๋ฐฉ๋ฒ์ ์ต๊ทผ์๋ ํฌ๊ฒ ๋ ๋ถ๋ฅ๋ก ๋๋ ์ ์์ต๋๋ค. 'ํต๊ณ ๊ธฐ๋ฐ ๊ธฐ๋ฒ'๊ณผ '์ถ๋ก ๊ธฐ๋ฐ ๊ธฐ๋ฒ' ์
๋๋ค.๋ ๋ฐฉ๋ฒ์ด ๋จ์ด์ ์๋ฏธ๋ฅผ ์ป๋ ๋ฐฉ์์ ์๋ก ๋ค๋ฅด์ง๋ง, ๊ทธ ๋ฐฐ๊ฒฝ์๋ ๋ชจ๋ ๋ถํฌ ๊ฐ์ค์ด ์์ต๋๋ค.ํต๊ณ ๊ธฐ๋ฐ ๊ธฐ๋ฒ์์๋ ์ฃผ๋ณ ๋ฐ์ด์ ๋น๋๋ฅผ ๊ธฐ์ด๋ก ๋จ์ด๋ฅผ ํํ ํ์ต๋๋ค.๊ตฌ์ฒด์ ์ผ๋ก๋ ๋จ์ด์ Co-Occurance Matrix(๋์ ๋ฐ์ ํ๋ ฌ)์ ๋ง๋ค๊ณ ๊ทธ ํ๋ ฌ์ ํน์๊ฐ๋ถํด(Singular Value Decomposition, SVD)๋ฅผ ์ ์ฉํ์ฌ ๋ฐ์ง๋ฒกํฐ๋ฅผ ์ป์ต๋๋ค.๊ทธ๋ฌ๋, ์ด ๋ฐฉ์์ ๋๊ท๋ชจ Corpus(๋ง๋ญ์น)๋ฅผ ๋ค๋ฃฐ ๋ ๋ฌธ์ ๊ฐ ๋ฐ์ํฉ๋๋ค. ์ผ๋จ, ํต๊ณ ๊ธฐ๋ฐ ๊ธฐ..
๐ Natural_Language_Processing
์์ ๊ธ, Thesaurus(์์๋ฌ์ค), Co-occurence Matrix(๋์๋ฐ์ ํ๋ ฌ)๋ถ๋ถ์์ ํต๊ณ ๊ธฐ๋ฐ ๊ธฐ๋ฒ์ ๋ฐํ์ฌ ์ค๋ช
ํ์ต๋๋ค.Thesaurus(์์๋ฌ์ค), Co-occurence Matrix(๋์๋ฐ์ ํ๋ ฌ) ๊ธ์
๋๋ค. ์ง๊ธ ๋ด์ฉ๊ณผ ์ฐ๊ฒฐ๋๋ ๊ธ์ด๋๊น ํ๋ฒ ์ฝ์ด๋ณด์ธ์. [NLP] Thesaurus(์์๋ฌ์ค), Co-occurence Matrix(๋์๋ฐ์ ํ๋ ฌ)์ค๋๋ง์ NLP ๊ด๋ จ ๊ธ์ ์ฐ๋ค์.. ์๊ฐ ๋๋๋๋ก ์ด์ฌํ ์ฐ๊ณ ์ฌ๋ ค ๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. Thesaursus - ์์๋ฌ์ค์์๋ฌ์ค(Thesaurus)๋ ๋จ์ด์ ๊ทธ ์๋ฏธ๋ฅผ ์ฐ๊ฒฐ์์ผ์ฃผ๋ ๋๊ตฌ์
๋๋ค.์ฃผ๋ก ํน์ ๋จ์ด์ ์๋ฏธdaehyun-bigbread.tistory.com Pointwise Mutual Information (PMI) - ์ ๋ณ ์ํธ์ ..
๐ Natural_Language_Processing
์ค๋๋ง์ NLP ๊ด๋ จ ๊ธ์ ์ฐ๋ค์.. ์๊ฐ ๋๋๋๋ก ์ด์ฌํ ์ฐ๊ณ ์ฌ๋ ค ๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. Thesaursus - ์์๋ฌ์ค์์๋ฌ์ค(Thesaurus)๋ ๋จ์ด์ ๊ทธ ์๋ฏธ๋ฅผ ์ฐ๊ฒฐ์์ผ์ฃผ๋ ๋๊ตฌ์
๋๋ค.์ฃผ๋ก ํน์ ๋จ์ด์ ์๋ฏธ์ ์ผ๋ก ์ ์ฌํ ๋จ์ด(๋์์ด)์ ๋ฐ๋ ์๋ฏธ๋ฅผ ๊ฐ์ง ๋จ์ด(๋ฐ์์ด)๋ฅผ ์ ๊ณตํ์ฌ, ๊ธ์ ์ฐ๊ฑฐ๋ ๋ง์ ํ ๋ ๋ค์ํ ํํ์ ์ฌ์ฉํ ์ ์๋๋ก ๋์ต๋๋ค.๋ค๋ฅธ ์๋ฏธ๋ก ๋งํ๋ฉด, ์ ์์ด ์ฌ์ ์ผ๋ก '๋ป์ด ๊ฐ์ ๋จ์ด(๋์์ด)'๋ '๋ป์ด ๋น์ทํ ๋จ์ด(์ ์์ด)'๊ฐ ํ ๊ทธ๋ฃน์ผ๋ก ๋ถ๋ฅ๋์ด ์์ต๋๋ค.๋ํ NLP์์ ์ด์ฉ๋๋ ์์๋ฌ์ค์์๋ ๋จ์ด ์ฌ์ด์ '์์, ํ์' ํน์ '์ ์ฒด, ๋ถ๋ถ'๋ฑ ๋ ์ธ์ธํ ๊ด๊ณ๊น์ง ์ ์ํด๋ ๊ฒฝ์ฐ๊ฐ ์์ต๋๋ค.์๋ฅผ ๋ค์ด์ ์๋์ ๊ทธ๋ํ ์ฒ๋ผ ๊ด๊ณ๋ฅผ ์ ์ํฉ๋๋ค.์ด์ฒ๋ผ ๋ชจ๋ ๋จ์ด์ ๋ฐํ ์ ์์ด ์งํฉ์ ๋ง..
๐ Natural_Language_Processing
์ด๋ฒ ๊ธ์์๋ Transformer ๋ชจ๋ธ์ ์ ๋ฐ์ ์ธ Architecture ๋ฐ ๊ตฌ์ฑ์ ๋ฐํ์ฌ ์์๋ณด๊ฒ ์ต๋๋ค. Transformer: Attention is All You Need Transformer ๋ชจ๋ธ์ 2017๋
์ "Attention is All You Need"๋ผ๋ ๋
ผ๋ฌธ์ ํตํด์ ์๊ฐ๋์์ต๋๋ค. ์ฃผ์ํ ํต์ฌ ์์ด๋์ด๋ "Self-Attention" ์ด๋ผ๋ ๋งค์ปค๋์ฆ์ ๊ธฐ๋ฐํ์ฌ, ๋ฌธ์ฅ ๋ด์ ๋ชจ๋ ๋จ์ด๋ค ์ฌ์ด์ ๊ด๊ณ๋ฅผ ํ ๋ฒ์ ํ์
ํ ์ ์๋ค๋ ์ ์ ์์ต๋๋ค. ์ด์ ์ ์ค๋ช
ํ๋ RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory)๊ณผ ๊ฐ์ ์์ฐจ์ ์ธ Model์ด ๊ฐ์ง ์์ฐจ์ ์ฒ๋ฆฌ์ ํ๊ณ๋ฅผ ๊ทน๋ณตํ๋ค๋ ํน์ง์ด ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ํ์ฌ Transformer ๋ชจ๋ธ..
๐ Natural_Language_Processing
์ ์ ์ผ๋ ๋ด์ฉ์ ์ด์ด์ ์จ๋ณด๊ฒ ์ต๋๋ค. ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง (CNN Model)๊ณผ ๋น๊ตํ Self-Attention CNN์ *Convolution filter(ํฉ์ฑ๊ณฑ ํํฐ)๋ผ๋ ํน์ํ ์ฅ์น๋ฅผ ์ด์ฉํด์ Sequence์ ์ง์ญ์ ์ธ ํน์ง์ ์ก์๋ด๋ ๋ชจ๋ธ์
๋๋ค. ์ฌ๊ธฐ์ Convolution filter(ํฉ์ฑ๊ณฑ ํํฐ)๋ ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง์ ๊ตฌ์ฑํ๋ ํ๋์ ์์-ํํฐ๋ ๋ฐ์ดํฐ๋ฅผ ์ ์ฒด์ ์ผ๋ก ํ์ผ๋ฉด์ ์ธ์ ํ ์ ๋ณด๋ฅผ ์ถ์ถํ๋ ์ญํ ์ ํฉ๋๋ค. ์์ฐ์ด๋ ๊ธฐ๋ณธ์ ์ผ๋ก Sequence(๋จ์ด ํน์ ํํ์์ ๋์ด)์ด๊ณ ํน์ ๋จ์ด ๊ธฐ์ค ์ฃผ๋ณ ๋ฌธ๋งฅ์ด ์๋ฏธ ํ์ฑ์ ์ค์ํ ์ญํ ์ ํ๊ณ ์์ผ๋ฏ๋ก, CNN์ด ์์ฐ์ด ์ฒ๋ฆฌ์ ๋๋ฆฌ ์ฐ์ด๊ณ ์์ต๋๋ค. ์์ ๊ทธ๋ฆผ์ CNN ๋ฌธ์ฅ์ Encoding ๋ฐฉ์์
๋๋ค. Convolution filter(ํฉ์ฑ๊ณฑ ํํฐ)๊ฐ ..
๐ Natural_Language_Processing
1. Attention Attention์ CS ๋ฐ ML์์ ์ค์ํ ๊ฐ๋
์ค ํ๋๋ก ์ฌ๊ฒจ์ง๋๋ค. Attention์ ๋งค์ปค๋์ฆ์ ์ฃผ๋ก Sequence Data๋ฅผ ์ฒ๋ฆฌํ๊ฑฐ๋ ์์ฑํ๋ ๋ชจ๋ธ์์ ์ฌ์ฉ๋ฉ๋๋ค. -> Sequence ์
๋ ฅ์ ์ํํ๋ ๋จธ์ ๋ฌ๋ ํ์ต ๋ฐฉ๋ฒ์ ์ผ์ข
Attention์ ๊ฐ๋
์ Decoder์์ ์ถ๋ ฅ์ ์์ธกํ๋ ๋งค์์ (time step)๋ง๋ค, Encoder์์์ ์ ์ฒด์ ์
๋ ฅ ๋ฌธ์ฅ์ ๋ค์ ํ๋ฒ ์ฐธ๊ณ ํ๊ฒ ํ๋ ๊ธฐ๋ฒ์
๋๋ค. ๋จ, ์ ์ฒด ์
๋ ฅ ๋ฌธ์ฅ์ ์ ๋ถ ๋ค ์ข
์ผํ ๋น์จ๋ก ์ฐธ๊ณ ํ๋ ๊ฒ์ด ์๋๋ผ, ํด๋น ์์ ์์ ์์ธกํด์ผ ํ ์์์ ์ฐ๊ด์ด ์๋ ์
๋ ฅ ์์ ๋ถ๋ถ์ Attention(์ง์ค)ํด์ ๋ณด๊ฒ ํฉ๋๋ค. ์ด ๋ฐฉ๋ฒ์ด ๋ฌธ๋งฅ์ ํ์
ํ๋ ํต์ฌ์ ๋ฐฉ๋ฒ์ด๋ฉฐ, ์ด๋ฌํ ๋ฐฉ์์ DL(๋ฅ๋ฌ๋)๋ชจ๋ธ์ ์ ์ฉํ๊ฒ์ด 'Attent..
๐ Natural_Language_Processing
1. Word Embedding? Word Embedding, ์๋์๋ฒ ๋ฉ ์ด๋? ํ
์คํธ ๋ฐ์ดํฐ๋ฅผ ์์นํ ๋ฒกํฐ๋ก ๋ณํํ๋ ๋ฐฉ๋ฒ์
๋๋ค. ๋ค๋ฅธ ์๋ฏธ๋ก ๋งํ๋ฉด Text๋ด์ ๋จ์ด๋ค์ ์ปดํจํฐ๊ฐ ์ดํดํ ์ ์๋ Vector์ ํํ๋ก ๋ณํํ๋๊ฒ์ ๋งํฉ๋๋ค. ์ฆ, ๋จ์ด๋ฅผ ๊ณ ์ฐจ์ ๊ณต๊ฐ์ ์ ์ฐจ์ ๋ฒกํฐ๋ก ๋ณํํ๋ ๋ฐฉ๋ฒ์
๋๋ค. Word Embedding ๊ณผ์ ์ ๊ฑฐ์น Vector๋ ๋จ์ด์ ์๋ฏธ(mean), ๋ฌธ๋งฅ(context), ์ ์ฌ์ฑ(similar) ๋ฑ์ ์์นํ ํด์ ํํํ ์ ์์ต๋๋ค. ์๋ ์๋ฒ ๋ฉ์ ๊ณผ์ ์ ํฌ๊ฒ ๋ณด๋ฉด 2๊ฐ์ง์ ๋ฐฉ๋ฒ์ผ๋ก ์ด๋ฃจ์ด์ง๋๋ค. 2. Word Embedding์ ๋ฐฉ๋ฒ Word Embedding์ ๋ฐฉ๋ฒ์ ํฌ๊ฒ ๋ณด๋ฉด 2๊ฐ์ง์ ๋ฐฉ๋ฒ์ผ๋ก ์ด๋ฃจ์ด ์ง๋ค๊ณ ํ์ต๋๋ค. ํ๋๋ Count๊ธฐ๋ฐ ๋ฐฉ๋ฒ, ๋ค๋ฅธ ํ๋๋ ์์ธก ๊ธฐ..
๐ Natural_Language_Processing
1. What is Word2Vec? Word2Vec์ ๋จ์ด๋ฅผ ๋ฒกํฐ๋ก ๋ณํํ๋๋ฐ ์ฌ์ฉ๋๋ ์ธ๊ธฐ์๋ ์๊ณ ๋ฆฌ์ฆ ์
๋๋ค. ์ฌ๊ธฐ์ ๋จ์ด๋ ๋ณดํต 'Token' ํ ํฐ ์
๋๋ค. ์ด ์๊ณ ๋ฆฌ์ฆ์ ๋จ์ด(Token)๋ค ์ฌ์ด์ ์๋ฏธ์ ๊ด๊ณ๋ฅผ Vector ๊ณต๊ฐ์ ์ ํํํ ์ ์๋ ๋ฐฉ๋ฒ์ ํ์ตํ๋ ๋น์ง๋๋ฐฉ์(Unsupervised learning)์ผ๋ก ์ค๊ณํ ์๊ณ ๋ฆฌ์ฆ ์
๋๋ค. ์ฃผ๋ณ ๋จ์ด๋ค(๋ฌธ๋งฅ)์ ํตํด์ ๊ฐ ๋จ์ด๋ค์ ์์ธกํ๊ฑฐ๋, ๋ฐ๋๋ก ๊ฐ ๋จ์ด๋ค์ ํตํด ์ฃผ๋ณ์ ๋จ์ด๋ค์ ๋ณด๊ณ ์์ธกํ๋ ๋ฐฉ์์ผ๋ก ์๋ํฉ๋๋ค. ๋น์ ํ์๋ฉด ์ด๋ฏธ์ง๋ฅผ ํ์ตํ๋ฏ, ๋จ์ด๋ฅผ Vector๋ก ๋ณด๊ณ ํ์ตํฉ๋๋ค. ์ด๋ ๊ฒ Word2Vec์ ๋จ์ด๋ค ์ฌ์ด์ ์๋ฏธ์ ์ธ ๊ด๊ณ๋ฅผ ํ์
ํฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ , ์์ ๊ทธ๋ฆผ์ ์๋ ๋ฌธ์ฅ์ ์ด์ฉํด ๋ชจ๋ธ์ ํ์ต ์ํค๊ธฐ ์ํด์ ๊ฐ ๋จ์ด(Token..