[Words] Words - 단어

The Words of Language

• 단어는 언어적 지식의 중요한 부분 & 문법의 구성 요소를 구성
• 우리가 아는 모든 단어는 mental dictionary를 가지고 있다.
  • Pronunciation (발음)
  • Meaning (의미)
  • Orthography (Spelling) - 맞춤법
  • Grammatial Category (문법 범주)

---

Morphology (형태소)

• 형태소 라고 하는 작은 단위로 본다.

• 유한한 데이터에서 만들어 내지만 유한한 규칙이 있다.

example) 나는 학교에 간다, 하늘을 나는 새

• 실제로 Morphological Persing하면
  똑같은 나는 이지만 나 → 대명사, 조사 생각만 난다.

---

Normalization (표준화)

문장을 나누려면 문장부호 가 있어야 한다, 부호 없어도 나눠야 하지만 가능은 하다.

• 한국어는 문장부호 의 용도가 거이 없다. but 영어는 많다. 문장 중간에도 기호가 많이 들어간다.
• ex) Mr. / US vs us (미국, 우리) / Windows vs windows (MS Window vs 창문)
• 한국어의 아이러니는 문장부호가 있으면 문장 나누기 쉽지만 없으면 어려움
• 그렇다고 영어는 대,소문자가 있기 때문에 쉽지 않다.
• 다양하게 해석될 수 있으므로 후보를 들고 다니다가 가지치기를 해서 없앤다.

Issue

• 영어는 ‘ …. → mary’s / mary ‘s → 메리인지, 소유격인지
• hyphen - → Calcium-dependent / New York-New Jersey

---

stemming vs lemmatization

• stemming - 공통된 부분 제외하고 잘라짐
• Lemmatization - 단어의 원본은 찾아가려고 함 (사전이 없으면 횟수가 없다.)

---

content word & function word

• content word: 개념적 의미를 전달 & 계속 만들어진다 (동사, 형용사 등) (open class)
• function word: 문법적 의미를 전달 (전치사, 접속사 등)

(Closed class: 안 봐뀐다-문법 기능만 하기 때문, but 추가는 가능-거이 잃어 나지는 않아,)

---

Morphemes (형태소)

• Morpheme (형태소): 의미를 가지고 있는 최소 단위
  • 어떤 건 혼자 쓸 수 있기도 하고 불가능 하기도 함

💡 형태소는 그 자체로 단어가 될 수도 있고, 종종 단어를 만들기 위해 다른 형태소와 결합될 수도 있다

ex) 사랑하다 - 하나의 형태소, books - book + s, 새: 새 - 단어이면서 형태소

하늘을: 하늘 + 을 → 둘다 형태소이면서 단어

나는: 나(대명사) + 는 / 나(동사) + 는 / 날 + 는

• 주의 사항: 형태소는 사전에서 찾을 수 있는 형태로 만들어야 한다 & 형태소 단위로 나눠야 한다.

---

Bound and Free Morphemes

• Free Morphemes: 혼자 쓸 수 있음
  • 한국어는 교차 부호 의 특징이 있어서, 혼자 쓸 수 있는 형태소가 많다.
• Bound Morphemes: 혼자 쓸 수 없다, 다른 형태소와 연결이 되어야 한다.
• Infixes: root안에 삽입 & 앞쪽에 붙는 형태소
• Circumfixes: 단어를 중심으로 양쪽(시작 & 끝)에 붙는 형태소
• Derivational Morphemes(파생 형태소): 형태소가 의미를 가지고 있는지 아닌지
  • 어근의 의미 및/또는 일부를 변경
• Inflectional Morphemes: 문법적 기능을 해서 만드는 형태소 - 크게 의미가 없음
  • 진행형 ing / 3인칭 단수 s
• 형태소는 단어의 구조를 변경하는 고정된 순서로 추가된다. → 단어의 계층 구조
  • 먼저 붙는 순서에 따라 단어의 의미가 결정된다 / 모르면 단어의 중의성

---

Morphological Processes/operation

• 어떤 input으로 들어오면 morpheme을 잘 쪼개야 사전 에서의 의미 파악 가능?
• 대체 단어 형식간 의 관계 보기
  • ex) go → went
• 가장 작은 의미 단위로의 형태소가 존재

• Input: The fearsome cats attacked the foolish dog
• Output: The fear-some cat-s attack-ed the fool-ish dog