📝 NLP (자연어처리)

[Words] Words - 단어

2023.07.23

The Words of Language 단어는 언어적 지식의 중요한 부분 & 문법의 구성 요소를 구성 우리가 아는 모든 단어는 mental dictionary를 가지고 있다. Pronunciation (발음) Meaning (의미) Orthography (Spelling) - 맞춤법 Grammatial Category (문법 범주) Morphology (형태소) 형태소 라고 하는 작은 단위로 본다. 유한한 데이터에서 만들어 내지만 유한한 규칙이 있다. example) 나는 학교에 간다, 하늘을 나는 새 실제로 Morphological Persing하면 똑같은 나는 이지만 나 → 대명사, 조사 생각만 난다. Normalization (표준화) 문장을 나누려면 문장부호 가 있어야 한다, 부호 없어도 나눠야 ..

📝 NLP (자연어처리)/🗨️ Linguistic Engineering

[Intro] Introduction to Language Engineering - 언어공학개론

2023.07.23

1. 언어공학개론 서론 1) 문맥의 중요성 한국어는 한국어의 특징, 영어는 영어의 특징이 있다. 한국어를 영어로 해석한다고 해서 1:1로 대응하여 단어 하나하나를 해석하지는 않을 것이다. 문맥의 중요성 상황이 달라지면 T, F가 달라질 수 있듯이 어떠한 명제도 참이라고 하기엔 어려우나 보통 그런 명제들은 ‘이시대 모든 사람들이 생각하는 공통점’과 같은 맥락에서 생각해야한다. 생각해야할 사항 인간이 이해하기엔 당연하고 쉬운 일이지만, 인간이 언어를 이해할 때 자연스럽고 당연하다고 느끼는 것이 컴퓨터에겐 어렵다. 딥러닝에 적용하기엔 어려운 인간의 규칙이, 딥러닝을 활용함으로써 오히려 더 쉽게 활용할 수 있기도 하다. 우리가 어떻게 언어를 이해하는지? (컴퓨터와 다른 점) 컴퓨터가 인간의 언어를 이해하는 방향..

[Words] Words - 단어

[Intro] Introduction to Language Engineering - 언어공학개론

티스토리툴바