[NLP] Tokenization - 토큰화란?

Tokenization - 토큰화

1. 토큰화란?

💡 문장을 토큰 시퀀스로 나누는 과정 → 문자, 단어, 서브워드등 3가지 방법

• 토근화를 수행하는 프로그램을(Tokenizer)라고 한다.
• 토근화 방식에는 여러가지가 있음 → 단어(어절), 문자, 서브워드(Subword) 단위

단어 단위 토큰화

공백으로 분리

• 장점: Tokenizer를 사용하면 어휘 집합이 커지는거 완화

💡 Example

• 은전한닢으로 토큰화 → 그렇다고 은전한닢 같은 Tokenizer 사용해요
• 어휘집합 크기가 커지는건 막기 어려움 (어휘 집합 크기가 커질수록..)

 

문자 단위 토근화

💡 문자 단위 → 모든 문자를 어휘 집합에 포함함으로 미등록 토큰 문자로부터 자유롭다.
미등록 토큰: 어휘 집합에 없는 토큰 - 신조어등 에서 발생

• 단점: 각 문자 Token이 의미있는 단위가 되기 어려움.
• 토큰 시퀀스의 길이가 길어짐 → 모델이 학습하기 어려움 & 성능 저하

 

서브워드 단위 토큰화

💡단위 토큰화는 단어와 문자 단위 토큰화의 중간에 있는 형태 → 단어, 문자 단위들의 장점만 가져옴

• 어휘 집합 크기가 커지지 않음 & 미등록 토큰 문제 회피 & 토큰 시퀀스가 안길어 지게함

---

2. Byte Pair Encoding

💡 바이트 페어 인코딩(Byte Pair Encoding, BPE)은 처음은 정보를 압축하는 알고리즘으로 제안

• But, 최근에는 자연어 처리 모델에 널리 쓰이고 있는 토큰화 기법입니다.
• GPT 모델은 BPE 기법으로 토큰화를 수행하며, BERT 모델은 BPE와 유사한 워드피스(wordpiece)를 토크나이저로 사용

데이터에서 가장 많이 등장한 문자열을 병합해서 데이터를 압축하는 기법
Example) aaabdaabac → aa(Z) → ZabdZabac

💡 BPE 활용한 Tokenizer 절차 → 1. 어휘 집합 구축, 2. 토큰화

 

BPE 어휘 집합 구축하기

• 어휘집합을 만드러면 말뭉치 필요 → 말뭉치의 모든 공백을 공백으로 나눠줌: Pre-Tokenize 라고 함
• 예시 → BPE 문자 단위화: b,g,h,n,p,s,u, 여기 문자 7개로도 모든 토큰 표현 가능

• b,g,h,n,p,s,u, 여기 문자 7개로도 모든 토큰 표현 가능

💡 목적에 따라 빈도수가 달라질수도, 토큰을 2개나 아니면 바이그램 쌍이 같은것 끼리 빈도를 합쳐줘서 어휘 집합에 맞춰서 토큰화 해서 빈도 측정 가능

• 바이그램 쌍 병합 이력, 빈도가 제일 많은것들만 내용 그래도 merges.txt 형태로 저장

 

BPE 토큰화

• 어휘 집합 & 병합 우선순위가 있으면 토큰화가 가능. 분리된 토큰을 가지고 BPE 토큰화를 수행
• ex) pug

토큰화 순서 예시

pug를 문자단위로 분리. pug → p, u, g
merges.txt (병합 우선순위)참고해서 우선순위 부여

• p, u : merges.txt에 존재하지 않음 (=우선 순위 없음)
• u, g : merges.txt에서 첫번째 우선 순위. u, g의 우선순위가 높으므로 둘을 합쳐준다.
• p, u, g → p, ug
• merges.txt (병합 우선순위) 참고해서 다시 우선순위 부여
• p, ug : 해당 바이그램 쌍이 merges.txt에 존재하지 않음 (=우선 순위 없음) → 그러면 병합 그만둠.
• 그리고, 어휘 집합(vocab.json)이 있는지를 검사. 둘다 있으면 pug의 토큰화 최종결과는 p, ug

 

워드피스

💡 말뭉치에서 자주 등장한 문자열을 토큰으로 인식한다는 점에서 BPE와 본질적으로 유사. 다만, 어휘 집합을 구축할 때 문자열을 병합하는 기준이 다름

• 워드 피스 → BPE처럼 단순히 빈도를 기준으로 병합하는 것이 아니라, 병합했을 때 말뭉치의 **우도(likelihood)**를 가장 높이는 쌍을 병합
• 병합 후보가 a,b일때 판단의 근거가 되는 값을 계산하는 방법

 

💡 #a, #b, #ab는 각각 a,b,ab라는 문자열의 빈도수, n은 전체 글자수를 가리킴. 분자는 ab가 연이어 등장할 확률, 분모는 a,b가 각각 등장할 확률의 곱

• 이 수식 값이 커지려면? a,b가 독립 & 자주 동시에 등장해야함
• 워드피스는 병합 후보에 오른 쌍을 미리 병합해보고 잃는것 & 가치 등을 판단후 병합 → 계산 값이 가장 높은 쌍을 합침.
• 근데, BPE와는 달리, 워드피스는 어휘 집합(vocab.txt)만 가지고 토큰화.
• 워드피스는 분석대상중 어휘집합에 있는 서브워드가 포함시 해당 서브워드를 어절에서 분리→ 계속 반복.
• 단 서브워드 후보가 여러개면, 제일 긴걸 선택. 그후, 나머지 어휘집합에 있는 서브워드중 제일 긴거 찾고 분리
• (만약 서브워드 후보가 하나도 없으면 해당 문자열 전체를 미등록 단어로 취급)