[Words] Word Tokenization - Morphemes (형태소)

Word Tokenization - Morphemes

Word-based tokenization - 사람이 쓰는 단어의 의미

• 큰 사전이 있어야 한다. 사전에 없는 단어가 있으면 처리 불가 → 해결하려면 사전이 엄청 커야해!
• 보이지 않는 단어나 희귀한 단어를 잘 처리할 수 없음
• 해결책 → subword tokenization

Subword tokenization

• 보통 말뭉치 에 자주 등장하는 단어들의 집합, 빈도가 낮은 단어는 어휘가 부족할 수도
• 단어보다 더 쪼개. 그렇다고 단어 or 글자도 아님 , 그 중간에서 자른다.
• 빈도가 낮은건 최대한 자르고 싶은 욕구에 의하여 만들어짐
  • 본적 없는 단어, 흔하지 않은 단어
• 기존의 NLP는 고정된 어휘로 작동 → 그 밖에 있는 모든 토큰은 UNK(알수없음)으로 축소

Example)
strawberryies
- OOV in sentence: The basket was filled with strawberrie
- The / Basket / was / filled / with / UNK (strawberries 자리)

Example)
"subword" -> "sub" & "word" (각각 vector 사용)

---

Character-based tokenization - 급진, 극단적 방법 (모든 글자 다 쪼갬)

• 토큰화 를 완전히 포기하고, 모든 것을 개별 문자로 나누기
  • in English: 모든 대문자, 소문자, 숫자와 일부 구두점도

Example)
T / h / e / _ / b / a / s / k / e / t / _ / w / a / s / ...

• dictionary 거이 필요 없음 → 오히려 단점들이 만들어냄(언어적 관점)
  • 개별 문자로 분할시, sequence가 길어지고, 계산 시간 증가
• 중국어는 괜찮을 수도(개별 문자의 의미 전달) , 영어 & 한국어는 힘들어. 별로 안좋아
• 연결된 언어(복합어)를 문자로 처리 할수 있다.

Example)
- 무의미한 개별 토큰 “d” and “o” -> “dog” & “dollar”

---

subword tokenization(토큰화)를 위한 공통 알고리즘

• Byte-Pair Encoding (BPE)
• Unigram Language Modeling Tokenization
• WordPiece Model
• SentencePiece Model
• 두 부분으로 구성되어 있다.
  • raw training corpus를 수강하고 어휘(토큰 세트)를 유도하는 토큰 학습자
  • raw test sentence를 가져와서 해당 어휘에 따라 토큰화하는 토큰 세그먼트화 프로그램