๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐ Natural Language Processing
์์ฑ์ ์ ๋ ์ ๊ฒฝ๋ง (GAN)?์์ฑ์ ์ ๋ ์ ๊ฒฝ๋ง(GAN)์ ๋ ๊ฐ์ ์ ๊ฒฝ๋ง์ธ ์์ฑ์(Generator)์ ํ๋ณ์(Discriminator)๊ฐ ๊ฒฝ์์ ์ผ๋ก ํ์ตํ๋ฉด์, ํ์ค๊ณผ ์ ์ฌํ ๋ฐ์ดํฐ๋ฅผ ์์ฑํ๋ ๋ชจ๋ธ์
๋๋ค. GAN์ ํนํ ์ด๋ฏธ์ง ์์ฑ, ๋ฐ์ดํฐ ์ฆ๊ฐ, ๋น๋์ค ์์ฑ ๋ฑ ๋ค์ํ ์์ฉ ๋ถ์ผ์์ ๋งค์ฐ ์ ์ฉํ๊ฒ ์ฌ์ฉ๋ฉ๋๋ค.์๋์์ GAN์ ๊ตฌ์ฑ ์์, ํ์ต ์ ์ฐจ, ๋ณํ ๋ชจ๋ธ, ์์ฉ ๋ถ์ผ, ์ฅ์ ๊ณผ ๋จ์ ์ ๋ํด ์์ธํ ์ค๋ช
ํ๊ฒ ์ต๋๋ค. GAN์ ๊ตฌ์ฑ ์์์์ฑ์(Generator):์ญํ : ์์ฑ์๋ ์์์ ๋
ธ์ด์ฆ ๋ฒกํฐ๋ฅผ ๋ฐ์๋ค์ฌ ํ์ค๊ฐ ์๋ ๋ฐ์ดํฐ๋ฅผ ์์ฑํ๋ ์ญํ ์ ํฉ๋๋ค. ์ด ๊ณผ์ ์์ ์์ฑ์๋ ์
๋ ฅ๋ ๋
ธ์ด์ฆ ๋ฒกํฐ๋ฅผ ์ ์ฐจ ๊ณ ์ฐจ์ ๋ฐ์ดํฐ, ์๋ฅผ ๋ค์ด ์ด๋ฏธ์ง๋ฅผ ์์ฑํ๋ ๋ฐ ํ์ํ ๊ณ ์ฐจ์ ๋ฒกํฐ๋ก ๋ณํํฉ๋๋ค.๋ชฉํ: ์์ฑ์์ ์ฃผ..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐ Natural Language Processing
NLP๋ฅผ ์ค๋๋ง์ ๊ณต๋ถํด๋ณด๋ค AutoEncoder์ ๋ํ ๋ด์ฉ์ด ์๋๊ฑฐ ๊ฐ์ ํ๋ฒ ์ค๋ช
ํด ๋ณด๊ฒ ์ต๋๋ค.์คํ ์ธ์ฝ๋(Autoencoder)๋?AutoEncoder(์คํ ์ธ์ฝ๋)๋ ์ธ๊ณต์ ๊ฒฝ๋ง์ ๊ธฐ๋ฐ์ผ๋ก ํ ๋น์ง๋ ํ์ต ๋ชจ๋ธ๋ก, ์ฃผ์ด์ง ๋ฐ์ดํฐ์ ํจ์จ์ ์ธ ํํ์ ํ์ตํ๋ ๋ฐ ์ค์ ์ ๋ก๋๋ค. ์ด๋ ๋ฐ์ดํฐ๋ฅผ ์์ถํ๊ณ ์ฐจ์์ ์ถ์ํ๊ฑฐ๋, ๋
ธ์ด์ฆ๋ฅผ ์ ๊ฑฐํ๊ณ ์ด์ ํ์ง์ ๊ฐ์ ๋ค์ํ ์์ฉ ๋ถ์ผ์ ์ฌ์ฉ๋ฉ๋๋ค. ์คํ ์ธ์ฝ๋(Autoencoder)์ ์๋ ์๋ฆฌ์คํ ์ธ์ฝ๋๋ ์
๋ ฅ ๋ฐ์ดํฐ๋ฅผ ์์ถํ์ฌ ์ ์ฌ ๊ณต๊ฐ(latent space)์ด๋ผ๋ ์ ์ฐจ์ ํํ์ผ๋ก ๋ณํํ ๋ค์, ์ด๋ฅผ ๋ค์ ์๋์ ๋ฐ์ดํฐ๋ก ๋ณต์ํ๋ ๊ณผ์ ์ ํตํด ํ์ตํฉ๋๋ค. ์ด๋ฌํ ๊ณผ์ ์ ์ฃผ๋ก ๋ค์ ๋ ๊ฐ์ง ์ฃผ์ ๊ตฌ์ฑ ์์๋ก ์ด๋ฃจ์ด์ง๋๋ค.์ธ์ฝ๋(Encoder): ์
๋ ฅ ๋ฐ์ดํฐ๋ฅผ ์ ์ฐจ์..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐ Natural Language Processing
RNNLM (RNN์ ์ฌ์ฉํ Language (์ธ์ด) ๋ชจ๋ธ)์ด๋ฒ์๋ RNN์ ์ฌ์ฉํ์ฌ Language Model(์ธ์ด ๋ชจ๋ธ)์ ๊ตฌํํด ๋ณด๊ฒ ์ต๋๋ค.๊ทธ ์ ์ ๋จผ์ ์ฌ์ฉ๋๋ Neural Network(์ ๊ฒฝ๋ง)์ ํ๋ฒ ๋ณด๊ณ ์์ํด๋ณด๊ฒ ์ต๋๋ค.์ผ์ชฝ์ RNNLM์ ๊ณ์ธต ๊ตฌ์ฑ์ด๊ณ , ์ค๋ฅธ์ชฝ์๋ ์ด๋ฅผ ์๊ฐ์ถ์ผ๋ก ํผ์น Neural Network(์ ๊ฒฝ๋ง)์
๋๋ค.๊ทธ๋ฆผ์ Embedding Layer(๊ณ์ธต)์ ๋จ์ด ID์ ๋ถ์ฐ ํํ (๋จ์ด Vector)๋ก ๋ณํ๋ฉ๋๋ค.๊ทธ๋ฆฌ๊ณ ๊ทธ ๋ถ์ฐ ํํ์ด RNN Layer(RNN ๊ณ์ธต)๋ก ์
๋ ฅ๋ฉ๋๋ค.RNN ๊ณ์ธต์ Hidden State(์๋ ์ํ)๋ฅผ ๋ค์ Layer(์ธต)์ผ๋ก ์ถ๋ ฅํจ๊ณผ ๋์์, ๋ค์ ์๊ฐ์ RNN ๊ณ์ธต(์ค๋ฅธ์ชฝ)์ผ๋ก ์ถ๋ ฅ๋ฉ๋๋ค.๊ทธ๋ฆฌ๊ณ RNN ๊ณ์ธต์ด ์๋ก ์ถ๋ ฅํ Hidden State(..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐ Natural Language Processing
BPTT (Backpropagation Through Time)BPTT(Backpropagation Through Time)๋ ์ํ ์ ๊ฒฝ๋ง(RNN, Recurrent Neural Network)์ ํ์ต์ ์ํด ์ฌ์ฉ๋๋ Backpropagation(์ญ์ ํ) ์๊ณ ๋ฆฌ์ฆ์ ํ์ฅ ๋ฒ์ ์
๋๋ค.์ฌ๊ธฐ์์ Backpropagation(์ค์ฐจ์ญ์ ํ๋ฒ)์?'์๊ฐ ๋ฐฉํฅ์ผ๋ก ํผ์น ์ ๊ฒฝ๋ง์ ์ค์ฐจ์ญ์ ํ๋ฒ' ์ด๋ ๋ป์ผ๋ก BPTT(Backpropagation Through Time)์ด๋ผ๊ณ ํฉ๋๋ค.์ด BPTT๋ฅผ ์ฌ์ฉํ๋ฉด RNN์ ํ์ตํ ์ ์์ต๋๋ค. RNN์ ๊ดํ ๊ฐ๋
์ ์๋์ ๊ธ์ ์ ์ด๋์์ผ๋ ์ฐธ๊ณ ํด ์ฃผ์๋ฉด ๋ ๊ฑฐ ๊ฐ์ต๋๋ค. [DL] RNN (Recurrent Netural Network) - ์ํ์ ๊ฒฝ๋ง1. RNN ์ด๋?RNN์ Sequ..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐ Natural Language Processing
์ด๋ฒ ๊ธ์์๋ ์ถ๋ก ๊ธฐ๋ฐ ๊ธฐ๋ฒ๊ณผ Neural Network(์ ๊ฒฝ๋ง)์ ๋ฐํ์ฌ ํ๋ฒ ์์ ๋ณด๊ฒ ์ต๋๋ค. ํต๊ณ ๊ธฐ๋ฐ ๊ธฐ๋ฒ์ ๋ฌธ์ ์ ๋จ์ด๋ฅผ Vector๋ก ํํํ๋ ๋ฐฉ๋ฒ์ ์ต๊ทผ์๋ ํฌ๊ฒ ๋ ๋ถ๋ฅ๋ก ๋๋ ์ ์์ต๋๋ค. 'ํต๊ณ ๊ธฐ๋ฐ ๊ธฐ๋ฒ'๊ณผ '์ถ๋ก ๊ธฐ๋ฐ ๊ธฐ๋ฒ' ์
๋๋ค.๋ ๋ฐฉ๋ฒ์ด ๋จ์ด์ ์๋ฏธ๋ฅผ ์ป๋ ๋ฐฉ์์ ์๋ก ๋ค๋ฅด์ง๋ง, ๊ทธ ๋ฐฐ๊ฒฝ์๋ ๋ชจ๋ ๋ถํฌ ๊ฐ์ค์ด ์์ต๋๋ค.ํต๊ณ ๊ธฐ๋ฐ ๊ธฐ๋ฒ์์๋ ์ฃผ๋ณ ๋ฐ์ด์ ๋น๋๋ฅผ ๊ธฐ์ด๋ก ๋จ์ด๋ฅผ ํํ ํ์ต๋๋ค.๊ตฌ์ฒด์ ์ผ๋ก๋ ๋จ์ด์ Co-Occurance Matrix(๋์ ๋ฐ์ ํ๋ ฌ)์ ๋ง๋ค๊ณ ๊ทธ ํ๋ ฌ์ ํน์๊ฐ๋ถํด(Singular Value Decomposition, SVD)๋ฅผ ์ ์ฉํ์ฌ ๋ฐ์ง๋ฒกํฐ๋ฅผ ์ป์ต๋๋ค.๊ทธ๋ฌ๋, ์ด ๋ฐฉ์์ ๋๊ท๋ชจ Corpus(๋ง๋ญ์น)๋ฅผ ๋ค๋ฃฐ ๋ ๋ฌธ์ ๊ฐ ๋ฐ์ํฉ๋๋ค. ์ผ๋จ, ํต๊ณ ๊ธฐ๋ฐ ๊ธฐ..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐ Natural Language Processing
์์ ๊ธ, Thesaurus(์์๋ฌ์ค), Co-occurence Matrix(๋์๋ฐ์ ํ๋ ฌ)๋ถ๋ถ์์ ํต๊ณ ๊ธฐ๋ฐ ๊ธฐ๋ฒ์ ๋ฐํ์ฌ ์ค๋ช
ํ์ต๋๋ค.Thesaurus(์์๋ฌ์ค), Co-occurence Matrix(๋์๋ฐ์ ํ๋ ฌ) ๊ธ์
๋๋ค. ์ง๊ธ ๋ด์ฉ๊ณผ ์ฐ๊ฒฐ๋๋ ๊ธ์ด๋๊น ํ๋ฒ ์ฝ์ด๋ณด์ธ์. [NLP] Thesaurus(์์๋ฌ์ค), Co-occurence Matrix(๋์๋ฐ์ ํ๋ ฌ)์ค๋๋ง์ NLP ๊ด๋ จ ๊ธ์ ์ฐ๋ค์.. ์๊ฐ ๋๋๋๋ก ์ด์ฌํ ์ฐ๊ณ ์ฌ๋ ค ๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. Thesaursus - ์์๋ฌ์ค์์๋ฌ์ค(Thesaurus)๋ ๋จ์ด์ ๊ทธ ์๋ฏธ๋ฅผ ์ฐ๊ฒฐ์์ผ์ฃผ๋ ๋๊ตฌ์
๋๋ค.์ฃผ๋ก ํน์ ๋จ์ด์ ์๋ฏธdaehyun-bigbread.tistory.com Pointwise Mutual Information (PMI) - ์ ๋ณ ์ํธ์ ..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐ Natural Language Processing
์ค๋๋ง์ NLP ๊ด๋ จ ๊ธ์ ์ฐ๋ค์.. ์๊ฐ ๋๋๋๋ก ์ด์ฌํ ์ฐ๊ณ ์ฌ๋ ค ๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. Thesaursus - ์์๋ฌ์ค์์๋ฌ์ค(Thesaurus)๋ ๋จ์ด์ ๊ทธ ์๋ฏธ๋ฅผ ์ฐ๊ฒฐ์์ผ์ฃผ๋ ๋๊ตฌ์
๋๋ค.์ฃผ๋ก ํน์ ๋จ์ด์ ์๋ฏธ์ ์ผ๋ก ์ ์ฌํ ๋จ์ด(๋์์ด)์ ๋ฐ๋ ์๋ฏธ๋ฅผ ๊ฐ์ง ๋จ์ด(๋ฐ์์ด)๋ฅผ ์ ๊ณตํ์ฌ, ๊ธ์ ์ฐ๊ฑฐ๋ ๋ง์ ํ ๋ ๋ค์ํ ํํ์ ์ฌ์ฉํ ์ ์๋๋ก ๋์ต๋๋ค.๋ค๋ฅธ ์๋ฏธ๋ก ๋งํ๋ฉด, ์ ์์ด ์ฌ์ ์ผ๋ก '๋ป์ด ๊ฐ์ ๋จ์ด(๋์์ด)'๋ '๋ป์ด ๋น์ทํ ๋จ์ด(์ ์์ด)'๊ฐ ํ ๊ทธ๋ฃน์ผ๋ก ๋ถ๋ฅ๋์ด ์์ต๋๋ค.๋ํ NLP์์ ์ด์ฉ๋๋ ์์๋ฌ์ค์์๋ ๋จ์ด ์ฌ์ด์ '์์, ํ์' ํน์ '์ ์ฒด, ๋ถ๋ถ'๋ฑ ๋ ์ธ์ธํ ๊ด๊ณ๊น์ง ์ ์ํด๋ ๊ฒฝ์ฐ๊ฐ ์์ต๋๋ค.์๋ฅผ ๋ค์ด์ ์๋์ ๊ทธ๋ํ ์ฒ๋ผ ๊ด๊ณ๋ฅผ ์ ์ํฉ๋๋ค.์ด์ฒ๋ผ ๋ชจ๋ ๋จ์ด์ ๋ฐํ ์ ์์ด ์งํฉ์ ๋ง..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐ Natural Language Processing
์ด๋ฒ ๊ธ์์๋ Transformer ๋ชจ๋ธ์ ์ ๋ฐ์ ์ธ Architecture ๋ฐ ๊ตฌ์ฑ์ ๋ฐํ์ฌ ์์๋ณด๊ฒ ์ต๋๋ค. Transformer: Attention is All You Need Transformer ๋ชจ๋ธ์ 2017๋
์ "Attention is All You Need"๋ผ๋ ๋
ผ๋ฌธ์ ํตํด์ ์๊ฐ๋์์ต๋๋ค. ์ฃผ์ํ ํต์ฌ ์์ด๋์ด๋ "Self-Attention" ์ด๋ผ๋ ๋งค์ปค๋์ฆ์ ๊ธฐ๋ฐํ์ฌ, ๋ฌธ์ฅ ๋ด์ ๋ชจ๋ ๋จ์ด๋ค ์ฌ์ด์ ๊ด๊ณ๋ฅผ ํ ๋ฒ์ ํ์
ํ ์ ์๋ค๋ ์ ์ ์์ต๋๋ค. ์ด์ ์ ์ค๋ช
ํ๋ RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory)๊ณผ ๊ฐ์ ์์ฐจ์ ์ธ Model์ด ๊ฐ์ง ์์ฐจ์ ์ฒ๋ฆฌ์ ํ๊ณ๋ฅผ ๊ทน๋ณตํ๋ค๋ ํน์ง์ด ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ํ์ฌ Transformer ๋ชจ๋ธ..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐ Natural Language Processing
์ ์ ์ผ๋ ๋ด์ฉ์ ์ด์ด์ ์จ๋ณด๊ฒ ์ต๋๋ค. ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง (CNN Model)๊ณผ ๋น๊ตํ Self-Attention CNN์ *Convolution filter(ํฉ์ฑ๊ณฑ ํํฐ)๋ผ๋ ํน์ํ ์ฅ์น๋ฅผ ์ด์ฉํด์ Sequence์ ์ง์ญ์ ์ธ ํน์ง์ ์ก์๋ด๋ ๋ชจ๋ธ์
๋๋ค. ์ฌ๊ธฐ์ Convolution filter(ํฉ์ฑ๊ณฑ ํํฐ)๋ ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง์ ๊ตฌ์ฑํ๋ ํ๋์ ์์-ํํฐ๋ ๋ฐ์ดํฐ๋ฅผ ์ ์ฒด์ ์ผ๋ก ํ์ผ๋ฉด์ ์ธ์ ํ ์ ๋ณด๋ฅผ ์ถ์ถํ๋ ์ญํ ์ ํฉ๋๋ค. ์์ฐ์ด๋ ๊ธฐ๋ณธ์ ์ผ๋ก Sequence(๋จ์ด ํน์ ํํ์์ ๋์ด)์ด๊ณ ํน์ ๋จ์ด ๊ธฐ์ค ์ฃผ๋ณ ๋ฌธ๋งฅ์ด ์๋ฏธ ํ์ฑ์ ์ค์ํ ์ญํ ์ ํ๊ณ ์์ผ๋ฏ๋ก, CNN์ด ์์ฐ์ด ์ฒ๋ฆฌ์ ๋๋ฆฌ ์ฐ์ด๊ณ ์์ต๋๋ค. ์์ ๊ทธ๋ฆผ์ CNN ๋ฌธ์ฅ์ Encoding ๋ฐฉ์์
๋๋ค. Convolution filter(ํฉ์ฑ๊ณฑ ํํฐ)๊ฐ ..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐ Natural Language Processing
1. Attention Attention์ CS ๋ฐ ML์์ ์ค์ํ ๊ฐ๋
์ค ํ๋๋ก ์ฌ๊ฒจ์ง๋๋ค. Attention์ ๋งค์ปค๋์ฆ์ ์ฃผ๋ก Sequence Data๋ฅผ ์ฒ๋ฆฌํ๊ฑฐ๋ ์์ฑํ๋ ๋ชจ๋ธ์์ ์ฌ์ฉ๋ฉ๋๋ค. -> Sequence ์
๋ ฅ์ ์ํํ๋ ๋จธ์ ๋ฌ๋ ํ์ต ๋ฐฉ๋ฒ์ ์ผ์ข
Attention์ ๊ฐ๋
์ Decoder์์ ์ถ๋ ฅ์ ์์ธกํ๋ ๋งค์์ (time step)๋ง๋ค, Encoder์์์ ์ ์ฒด์ ์
๋ ฅ ๋ฌธ์ฅ์ ๋ค์ ํ๋ฒ ์ฐธ๊ณ ํ๊ฒ ํ๋ ๊ธฐ๋ฒ์
๋๋ค. ๋จ, ์ ์ฒด ์
๋ ฅ ๋ฌธ์ฅ์ ์ ๋ถ ๋ค ์ข
์ผํ ๋น์จ๋ก ์ฐธ๊ณ ํ๋ ๊ฒ์ด ์๋๋ผ, ํด๋น ์์ ์์ ์์ธกํด์ผ ํ ์์์ ์ฐ๊ด์ด ์๋ ์
๋ ฅ ์์ ๋ถ๋ถ์ Attention(์ง์ค)ํด์ ๋ณด๊ฒ ํฉ๋๋ค. ์ด ๋ฐฉ๋ฒ์ด ๋ฌธ๋งฅ์ ํ์
ํ๋ ํต์ฌ์ ๋ฐฉ๋ฒ์ด๋ฉฐ, ์ด๋ฌํ ๋ฐฉ์์ DL(๋ฅ๋ฌ๋)๋ชจ๋ธ์ ์ ์ฉํ๊ฒ์ด 'Attent..