[Intro] Introduction to Language Engineering - 언어공학개론

1. 언어공학개론 서론

1) 문맥의 중요성

• 한국어는 한국어의 특징, 영어는 영어의 특징이 있다.
• 한국어를 영어로 해석한다고 해서 1:1로 대응하여 단어 하나하나를 해석하지는 않을 것이다.
• 문맥의 중요성
  • 상황이 달라지면 T, F가 달라질 수 있듯이 어떠한 명제도 참이라고 하기엔 어려우나 보통 그런 명제들은 ‘이시대 모든 사람들이 생각하는 공통점’과 같은 맥락에서 생각해야한다.
  • 생각해야할 사항
    • 인간이 이해하기엔 당연하고 쉬운 일이지만, 인간이 언어를 이해할 때 자연스럽고 당연하다고 느끼는 것이 컴퓨터에겐 어렵다.
    • 딥러닝에 적용하기엔 어려운 인간의 규칙이, 딥러닝을 활용함으로써 오히려 더 쉽게 활용할 수 있기도 하다.
    • 우리가 어떻게 언어를 이해하는지? (컴퓨터와 다른 점)
      • 컴퓨터가 인간의 언어를 이해하는 방향
        1. 규칙 (Rule) : 많은 규칙을 알려줘도 컴퓨터는 많이 맞추지 못함.
           (규칙의 실상은 복잡하기때문)
        2. 머신러닝 (Machine Learning) : - based on Statistical approach
           == 다음에 할 말을 통계적으로 예측하고 추측
        3. 딥러닝( Deep Learning) : 대량의 데이터가 필요하다.
           학습하는데 시간이 오래걸린다.
      • 현업에서는 rule-based, statistical, neural 모두 섞어서 사용한다.
        ⇒ 무조건 딥러닝이 좋은 것은 아니다. (대량의 데이터, 시간 오래걸림의 단점이 있기 때문)

---

2) 인간의 완벽한 능력에 대한 고찰

사람의 언어는 과연 완벽하다고 할 수 있는가?

교수님의 말하는 내용을 녹음하여 재생하면 문장의 호응, 발음 등등 엉망일 수 있다. (한국어 규칙에 대해 알기도 어렵고, 완벽하게 배운 적이 없어 완벽하게 구사하기에는 어려움이 있다.)

⇒ 컴퓨터도 마찬가지!!

3) Tunning Test

인간의 언어를 배우고, 완벽하게 구사한다고 평가하는 기준 중 하나이다.

• NLP & AI : 강인공지능(Strong AI) vs 약인공지능(Weak AI)

---

2. NLP & Language Technology

1) Natural Language + Data Progressing (언어학+컴퓨터과학)

• 언어에 대한 이해 + (기술에 대한 이해, 기계학습과 딥러닝, 수학&통계학, 철학&심리학..)
• NLP는 다양한 분야의 교집합이고, 특히 언어에 대한 이해도가 중요한 학문이다.

💡 **최종 목표 : 인간처럼 이해하고, 인간처럼 말하기** 인간처럼 이해하고 ⇒ 인간처럼 정교하게 이해하기 (input) 인간처럼 말하고 ⇒ 인간처럼 논리정연하게 말하기 (output)

• NLP는 AI 연구의 한 분야이지만 인공지능에서도 큰 부분을 차지하고있다.
  ( 생각의 input - output이 모두 언어이기에 언어를 제외하고 생각하기는 어렵다.)

---

2) 활용

• 그렇다면 언어를 컴퓨터에게 잘 가르치면 되는가…?
• 언어의 어려운 예시

오늘 여기에서 여러분과 함께 <b>수업<b>을 하게 되어 기뻐요!
오늘 여기에서 여러분과 함께 <b>수영<b>을 하게 되어 기뻐요!

<!--문법적으로 오류가 없지만, 의미적으로 이해하기 어렵다-->
나 석류랑 에버랜드 갈거야 <!--석류가 사람인가? 먹는건가?-->
나 예쁜 석류랑 지은이랑 에버랜드 갈거야 <!--'예쁜' 수식어를 받는 명사는 누구지?-->
나 손석구랑 에버랜드 갈거야 <!--유명인과 친분이 있나? 손석구가 누구지?-->

💡 말의 의미 그 자체를 이해하는 것도 어렵지만 언어는 단순히 언어로만 만들어진 것이 아니다. (맥락에 의존하는 말을 훨씬 많이 사용하게 된다.)

• 실제로, 사람의 언어를 이해한다는 것은 언어 그 자체에 대한 지식보다도 세상에 대한 지식이 있어야한다.
  • 언어를 배울 때 규칙 그 자체로 배우는 것이 아니라
  • 학교에서, tv에서, 친구와 자연스럽게 의식적으로 배운다. (맥락적)
• Common Language
  • 언어는 오랜 시간동안 경제성을 중심으로 최적화되었다.

💡 상식은 보여지는 정보가 아니다. 이는 컴퓨터가 언어를 이해하기 어려운 요소이다.

• • 형태 및 구조의 변화, 빈번한 구조의 생략 등 다양한 방식으로 꼭 필요한 요소들만 남는다.
  • 언어의 경제성 ; 맥락에 의존하기에 중의성(ambiguity)이 생기고, 명료성은 떨어진다.
    • 중의성 : 가슴을 열어라
      • 신체적으로 가슴을 펴라?
      • 마음을 열어라
  • 영어 : 저맥락 언어
    한국어 : 고맥락 언어 (문맥의 영향이 크다.)
  • 특히 의미를 분석하는 단계(semantics, pragmatics)에서부터 상식 정보를 많이 활용한다.
• What is worse…
  • 연구 수준과 상용화 수준의 GAP ; 문제점
    • 부정확한 입력(생략, 비문, 신조어, 욕설 등 다양한 구어체적 현상)
    • 학습데이터의 부재 등
• 기타
  • Entity Resolution : 서로 다른 맥락에서 같은 사람인지 파악해야한다.
  • Anaphora resolution : 김유정 == ‘그’ == ‘그녀’
  • Coreference resolution : John smith == Mr.smith

Diversity & Creativity

• 언어는 이질적이면서도 유연하다.

💡 `강인공지능(Strong AI)`을 만들려면 이러한 문제들을 해결할 수 있어야한다.

---

3. Phonetics & Phonology (말소리)

1) Natural Language Processing의 첫 시작

2) Both deal with speech sounds

• Phonetics : The sounds of Language (소리 그 자체)
• Phonology : The sound of Patterns of Language (소리가 규칙으로 변하는 성질)
  • 적용되지 않은 초창기 AI는 발음이 어색했다. (기계음)

<!--소리가 나오는 구간의 섞여있는 구간이 존재한다.-->
물고기의 '물' : ㅁ-ㅜ-ㄹ (딱딱 끊겨있는 듯 하지만, 소리가 섞여있는 구간이 존재한다.)
따라서, 'ㅁ'과 'ㅜ' 사이의 발음 구간을 정확하게 끊어내기 어렵다.
구간의 영향이 적은 경우, 많은 경우가 있다.

<!--같은 문자라도 다르게 나오는 소리-->
바 : 'ㅂ' **무성음**
보 : 'ㅂ' **유성음**

<!--'ㄹ'의 다양한 소리-->
****다리 : 'ㄹ' 혀위 위치 : **공중에 떠있다.
** 달 : 'ㄹ' 혀의 위치 : **윗니**

💡 다양한 상황에 있는 데이터를 주면, 표현 가능한 말소리가 다양해진다.

• Speech segmentation
• Speech sound identification
  • 컴퓨터는 사람의 말소리를 알지 못한다.
• 소리가 어떤 위치에서 나는지, 구강구조의 개폐, 혀의 위치에 따라 달라지는데, 이에 대해 더 자세히 알아보자.

---

4. Sounds

1) 소리의 특징

• 전달 매개(공기, 실전화기 등)가 없으면 들리지 않는다.
  • 우주는 진공상태이기 때문에 소리가 들리지 않는다.
  • 쇠 : 소리를 전달하는 매개에 가장 최적하다.
• 주요 4가지 특징
  1. Pitch (높낮이)
  2. Loudness (크기)
  3. Quality (소리의 구분 - 바이올린소리, 첼로 소리, 목소리… 등)
  4. Length
• 소리를 물리적으로 표현하는 방법

1. Waveform 

• x축 : 시간

• 소리를 물리적으로 표현한 것이다.
• type
  • Pure Tones
    • 오직 1개의 frequency
  • Complex waves : 대부분의 소리
    • 서로 다른 frequency, complexity를 가진 pure tone이 섞여있는 소리이다.
      • Pure tone을 여러개 섞는다고 해서 높낮이가 더 높아지거나, quality가 일정하지 않는다.
  • type
    • Repetitive wave : 음악 악기소리(거의), 수학적으로 만들어진 sine웨이브
    • non-repetitive wave : 소음, 천둥, …

2. Spectrum

• waveform을 확대한 것이다.
• x축 : 시간이 아니다.
• waveform을 재료로 삼아서 변환한것

3. Spectrogram

• 1. 소리의 시간을 x축으로 봐꿔 놓은것, Spectrum에 비해 보기가 편리하다.
  2. waveform을 재료로 삼아서 변환한것

---

2) Simple Wave : 기계가 내는 소리

• 기계 내는 소리는 정형, 규칙적인 규칙이 있다.
  • 주기에 따라 헤르츠를 결정한다.
  • 음의 높낮이가 결정된다
• 사람이 내는 소리는 비정형

---

3) Frequency

• 떨림의 주기 → 진동 횟수를 결정 → 높낮이 결정
• 사람의 경우, 연령과 성별에 따라서 말소리의 높낮이가 다르다.
  • 아이 > 여자 > 남자 (순으로 높낮이가 높고 - 낮다.)
  • 높낮이는 소리의 진동 횟수에 따라 달라지기 때문에 (sound source vibration)
    낮은 연령의 경우 울림통이 작고, 여성이 남성에 비해 울림통이 작기 때문에 소리의 진동 횟수가 많이 높은 목소리가 나온다.
• 전화할 때
  • 2만 헤르츠까지 전달할 수 있더라도 비용과 에너지가 많이 쓰이기 때문에 전화로 대화할때는 8천헤르츠까지만 Limit을 걸어 불필요한 비용과 에너지를 줄인다.
  • 4천 헤르츠까지만 되어도 민감하게 받아들일 수 있다. 그 이상으로 가면 받아들일 수 있는 정보가 없다. (민감도가 떨어져 소리를 들을 수 없다.)
• 들을 수 있는 소리
  • 사람과 강아지의 가청주파수는 겹친다.
  • 사람과 박쥐의 가청주파수는 겹치지 않는다.

---

4) Phases

• 가령, ‘바보바보’와 ‘보바보바’라고 할때 사람은 구분하지 못한다.

---

5) 한글의 모음

• 소리의 높낮이 (pitch) : 한글의 모음이 결정한다.
• 소리의 크기 (volume) : 모음이 결정한다.
• 자음의 경우 noise 처럼 파동이 찍힌다. (지지직-)

---

6) Vowel cues - 모음소리

• energy가 boost가 되어있는 F!, F2을 이용하여 모음을 구분
• 중요한 단서: Formant frequencies(주파수), 특히 F1, F2
• F1: Height
  • high vowel: F1 이 낮다. - low vowel 이면 F1이 높다.
• F2: Backness 발음: (우,에)
  • back vowel: F2 가 낮다.
  • 대부분 F1, F2만 봐도 모음 구분 하는 게 가능하다.
• F3: Backness, 입술의 모양 (동그란지 아닌지)

- Examples of formant frequencies of English monophthongs

• 하나를 기준으로 잡고, high front vowel 보면서 판단? - 아닐수도
• ex) 아이폰 첫 설정시 “시리야”라고 말하는것

---

7) Consonant cues - 자음 소리

• Stop sound - 입을 여는 순간 공기가 터진다. 입을 닫고 여는 소리 ex) 파파파파, 스스스스
  • 세로로 팡 터지는 특징이 있다. - vertical line으로 보인다.
  • vertical line이 쎌수록 무성음 이다.
  • 자음 중에서 구분하기가 제일 쉽다.
  • 무성음 은 공기가 나오는 시간이 걸린다. 모음을 만들기 위하여 성대가 진동을 해야 하기 때문.

---

8) Fricatives - 마찰음

• 공기의 마찰이 많이 일어난다.
• 유성음 VS 무성음
  • 유성음이 연하고, 무성음이 진하다.

---

9) Affricates

• F2 & Frcative가 섞여 있다.

---

10) Nasals

• 자음이긴 하지만 자음 중에서 공명이 제일 쎈 소리
• 모음보다는 소리의 희미하다
• 모음에서 모음으로 이어지는 불연속적 소리

---

11) Liquids & glides

• 자음중에서 공명하는 소리, 이중모음 만들때 난다.
• 모음과 비슷하지만 더 희미한 형태

---

12) Prosody (suprasegmental features 초분절적요소)

• 강세, 억양같은건 많은 정보를 전달한다.

---

13) Intonation as a phonemic feature

• variation이 많다.
• 세그먼트 문자열은 의미가 모호할 수 있다. → 억양에 따라 말의 의미를 모호하게 할수도
• pitch로 보면 음의 높낮이를 알 수 있다.
• Intonation이 실제로 음성에서 큰 역할

---

14) Intonation typology

• Falling - 영어
• Risimg - 한국어

---

15) Phonology (음운론)

• Phonology는 어떤 소리의 조합이 실제 단어가 될 수 있는지, 그것이 사실인지 아닌지, 그리고 어떤 소리의 조합이 실제 단어가 될 수 없는지를 알려준다.
• sound: 바보 (2번 ‘ㅂ’ 은 앞에 모음 소리 - 모음소리는 다 유성음)
• 1번 ‘ㅂ’은 앞에만 유성음, 나머지는 없음.
  • 유성음이 실현되려면 소리 두개다 유성음이여야 한다.

✓ black

✓ blick: lexical (accidental) gap - blick - 영어에서 조합 가능한 소리 (실제로는 없음-단어)

✓ lbick: impossible word - 조합 불가능한 단어