๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐จ๏ธ Linguistic Engineering
Sentence Sentence Structure “The child found the puppy” ๋ฌธ์ฅ์ ๋ค์๊ณผ ๊ฐ์ ํ
ํ๋ฆฟ์ ๊ธฐ๋ฐ์ผ๋ก ํ๋ค๊ณ ๋งํ ์ ์๋ค. Det—N—V—Det—N ์ด๊ฒ์ ๋ฌธ์ฅ์ด ๋ด๋ถ ๊ตฌ์กฐ๊ฐ ์๋ ๋จ์ด์ ๋ฌธ์์ด์ ๋ถ๊ณผํ๋ค๋ ๊ฒ์ ์๋ฏธ ๋ฌธ์ฅ์ ํ์ธต ์ง๋ฆฌ ๋๋ ทํ ๊ตฌ์กฐ๋ก ์ด๋ฃจ์ด์ ธ ์์ง ์๊ณ , ๊ณ์ธต์ ๊ตฌ์กฐ ๋ก ์ด๋ฃจ์ด์ ธ ์๋ค. ์ด ๋ฌธ์ฅ์ ์ค์ ๋ก ์ฌ๋ฌ ๊ทธ๋ฃน์ผ๋ก ๋๋ ์ ์๋ค ์ด๋ป๊ฒ ๊ฒฐํฉํ๋ ์ง์ ๋ฐ๋ผ ๋ง์ ์๋ฏธ๊ฐ ๋ฌ๋ผ์ง๋ค. ๐ก example [the child] [found a puppy] [the child] [found [a puppy]] [[the] [child]] [[found] [[a] [puppy]] ํธ๋ฆฌ ๋ค์ด์ด๊ทธ๋จ์ ๋ฌธ์ฅ์ ๊ณ์ธต ๊ตฌ์กฐ๋ฅผ ๋ณด์ฌ์ฃผ๋ ๋ฐ ์ฌ์ฉ๋๋ค. Syntactic Ca..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐จ๏ธ Linguistic Engineering
Syntax - ๋ฌธ์ฅ์ pattern ์ฐ๊ตฌ (๋ฌธ๋ฒ) Syntax ๋ชจ๋ ์ธ๊ฐ ์ธ์ด๋ฅผ ๊ตฌ์ฌํ๋ ์ฌ๋์ ๋ฌดํํ ์์ ๊ฐ๋ฅํ ๋ฌธ์ฅ์ ์์ฐํ๊ณ ์ดํดํ ์ ์๋ค. ํ์ง๋ง, ์ฐ๋ฆฌ๋ ๊ฐ๋ฅํ ๋ชจ๋ ๋ฌธ์ฅ๋ค์ ๋ํ mental dictionary์ ๊ฐ์ง ์ ์๋ค. ์คํ๋ ค, ์ฐ๋ฆฌ๋ ์ฐ๋ฆฌ์ ๋์ ์ ์ฅ๋ ๋ฌธ์ฅ์ ํ์ฑํ๊ธฐ ์ํ ๊ท์น์ ๊ฐ์ง๊ณ ์์ต๋๋ค. What Grammaticality Is Not Based On ๋ฌธ๋ฒ์ฑ ์ ์๋ฏธ & ์ง์ค์ฑ์ ๊ธฐ์ด ํ์ง ์๋๋ค. ๐ก example Enormous crickets in pink socks danced at the prom. ๋ฌด๋ํ์์ ๋ถํ์ ์๋ง์ ์ ์ ๊ฑฐ๋ํ ๊ท๋๋ผ๋ฏธ๊ฐ ์ถค์ ์ถ์๋ค. ๊ท๋๋ผ๋ฏธ๊ฐ ์ถค์ ์ถ์๋ค๋๊ฑด → ๋ง์ด ๋์ง ์์. ๋ฌธ๋ฒ์ ๋ง์๋ ๋ง์ด ๋์ง ์๋๋ค. → ๊ทธ๋ ์ง๋ง Di..
๐ฅ๏ธ Deep Learning
๋ฅ๋ฌ๋์ ๊ณต๋ถํ๊ธฐ ์ํ์ฌ ํ์ํ ์ค๋น๋ฌผ ๋ฅ๋ฌ๋์ ๊ณต๋ถํ๋ฉด์ ์ต์ํ์ผ๋ก ํ์ํ ์ค๋น๋ฌผ์ด ์๋ค๋ฉด 3๊ฐ์ง๋ฅผ ์ ์ด๋ณผ์ ์์๊ฑฐ ๊ฐ์์. Python 3.X ๋ฒ์ , Numpy Library, Matplotlib Library ์
๋๋ค. Numpy Library Python ์์ ๊ณผํ์ ๊ณ์ฐ & ์์น๋ฅผ ๊ณ์ฐํ๊ธฐ ์ํ ํต์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์
๋๋ค. NumPy๋ ๊ณ ์ฑ๋ฅ์ ๋ค์ฐจ์ ๋ฐฐ์ด ๊ฐ์ฒด์ ์ด๋ฅผ ๋ค๋ฃฐ ๋๊ตฌ๋ฅผ ์ ๊ณตํฉ๋๋ค. ์์น ๊ณ์ฐ์ ์ํ ๋งค์ฐ ํจ๊ณผ์ ์ธ ์ธํฐํ์ด์ค๋ฅผ ์ ๊ณตํ๋ฉฐ, ์ด๋ ๋ฐ์ดํฐ ๋ถ์, ๋จธ์ ๋ฌ๋ ๋ฑ ๋ค์ํ ๋ถ์ผ์์ ์ฌ์ฉ๋ฉ๋๋ค. Matplotlib Library ๋ฐ์ดํฐ๋ฅผ ์ฐจํธ๋ ํ๋กฏ์ผ๋ก ์๊ฐํํ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์
๋๋ค. ๋ผ์ธ ํ๋กฏ, ์ค์บํฐ ํ๋กฏ, ํ์คํ ๊ทธ๋จ ๋ฑ ๋ค์ํ ํ๋กฏ์ ์ง์ํ๋ฉฐ, ๊ทธ๋ํ์ ๋ํ ์์ธํ ์ค์ ์ ํ ์ ์์ต๋..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐จ๏ธ Linguistic Engineering
The Words of Language ๋จ์ด๋ ์ธ์ด์ ์ง์์ ์ค์ํ ๋ถ๋ถ & ๋ฌธ๋ฒ์ ๊ตฌ์ฑ ์์๋ฅผ ๊ตฌ์ฑ ์ฐ๋ฆฌ๊ฐ ์๋ ๋ชจ๋ ๋จ์ด๋ mental dictionary๋ฅผ ๊ฐ์ง๊ณ ์๋ค. Pronunciation (๋ฐ์) Meaning (์๋ฏธ) Orthography (Spelling) - ๋ง์ถค๋ฒ Grammatial Category (๋ฌธ๋ฒ ๋ฒ์ฃผ) Morphology (ํํ์) ํํ์ ๋ผ๊ณ ํ๋ ์์ ๋จ์๋ก ๋ณธ๋ค. ์ ํํ ๋ฐ์ดํฐ์์ ๋ง๋ค์ด ๋ด์ง๋ง ์ ํํ ๊ท์น์ด ์๋ค. example) ๋๋ ํ๊ต์ ๊ฐ๋ค, ํ๋์ ๋๋ ์ ์ค์ ๋ก Morphological Persingํ๋ฉด ๋๊ฐ์ ๋๋ ์ด์ง๋ง ๋ → ๋๋ช
์ฌ, ์กฐ์ฌ ์๊ฐ๋ง ๋๋ค. Normalization (ํ์คํ) ๋ฌธ์ฅ์ ๋๋๋ ค๋ฉด ๋ฌธ์ฅ๋ถํธ ๊ฐ ์์ด์ผ ํ๋ค, ๋ถํธ ์์ด๋ ๋๋ ์ผ ..
๐ NLP (์์ฐ์ด์ฒ๋ฆฌ)/๐จ๏ธ Linguistic Engineering
1. ์ธ์ด๊ณตํ๊ฐ๋ก ์๋ก 1) ๋ฌธ๋งฅ์ ์ค์์ฑ ํ๊ตญ์ด๋ ํ๊ตญ์ด์ ํน์ง, ์์ด๋ ์์ด์ ํน์ง์ด ์๋ค. ํ๊ตญ์ด๋ฅผ ์์ด๋ก ํด์ํ๋ค๊ณ ํด์ 1:1๋ก ๋์ํ์ฌ ๋จ์ด ํ๋ํ๋๋ฅผ ํด์ํ์ง๋ ์์ ๊ฒ์ด๋ค. ๋ฌธ๋งฅ์ ์ค์์ฑ ์ํฉ์ด ๋ฌ๋ผ์ง๋ฉด T, F๊ฐ ๋ฌ๋ผ์ง ์ ์๋ฏ์ด ์ด๋ ํ ๋ช
์ ๋ ์ฐธ์ด๋ผ๊ณ ํ๊ธฐ์ ์ด๋ ค์ฐ๋ ๋ณดํต ๊ทธ๋ฐ ๋ช
์ ๋ค์ ‘์ด์๋ ๋ชจ๋ ์ฌ๋๋ค์ด ์๊ฐํ๋ ๊ณตํต์ ’๊ณผ ๊ฐ์ ๋งฅ๋ฝ์์ ์๊ฐํด์ผํ๋ค. ์๊ฐํด์ผํ ์ฌํญ ์ธ๊ฐ์ด ์ดํดํ๊ธฐ์ ๋น์ฐํ๊ณ ์ฌ์ด ์ผ์ด์ง๋ง, ์ธ๊ฐ์ด ์ธ์ด๋ฅผ ์ดํดํ ๋ ์์ฐ์ค๋ฝ๊ณ ๋น์ฐํ๋ค๊ณ ๋๋ผ๋ ๊ฒ์ด ์ปดํจํฐ์๊ฒ ์ด๋ ต๋ค. ๋ฅ๋ฌ๋์ ์ ์ฉํ๊ธฐ์ ์ด๋ ค์ด ์ธ๊ฐ์ ๊ท์น์ด, ๋ฅ๋ฌ๋์ ํ์ฉํจ์ผ๋ก์จ ์คํ๋ ค ๋ ์ฝ๊ฒ ํ์ฉํ ์ ์๊ธฐ๋ ํ๋ค. ์ฐ๋ฆฌ๊ฐ ์ด๋ป๊ฒ ์ธ์ด๋ฅผ ์ดํดํ๋์ง? (์ปดํจํฐ์ ๋ค๋ฅธ ์ ) ์ปดํจํฐ๊ฐ ์ธ๊ฐ์ ์ธ์ด๋ฅผ ์ดํดํ๋ ๋ฐฉํฅ..