[Syntax] Syntactic analysis in NLP - NLP에서 구문분석

Syntactic analysis in NLP 

---

Parsing - PP & NP의 반복..

• Counsituency Parsing의 단점을 보완한 것이 Dependency Parsing
• Counsituency Parsing Structure Tree

• Dependenxy Parsing Structure Tree

---

Dependent Grammer

• head가 dependent 일 때 도 있고 서로 반대일 수도 있다.
• 종속성에 기반
• Dependency Structure는 Word(head)와 그것의 Dependent과의 관계에 의해 결정된다.
  • 의미적으로 관계가 있는것 들만 연결된다. - 의미적으로만 연결되면 묶을수 있으므로 비교적 자유로운것이 특징

• 자유 어순(Free word order)의 언어 분석에 매우 적합

• PG
  • S -> NP VP
  • NP -> Det N
  • VP -> V NP …
  • → Word order is important

• But, Korean
  • Free in word order
  • Omission
  • ungrammatical sentences on the internet

• 의미적으로 묶으면 된다! (의미 관계를 파악 하기가 편하다 & 그림이 단순)
  • 최근에는 Partial Parsing, Chunking 으로 유행이 지나감 ㅠ

---

Partial parsing

• 전체 말고, 일부만 Parsing
• Full parse trees - 매우 유용하다
  • 문장의 구조, 의미 파악 하기엔 쉽다
  • 문법은 복잡.. 서로 문법들 끼리 충돌하기도 한다.
    • 비정형이고, 쓸데없는 문장도 만들어 낸다.
  • 만드는데 시간이 많이 든다 → 돈도 많이 들고 힘들어
  • 일부 NLP 작업은 full hierarchical Parses(전체 계층적 구문 분석)을 요구 하지 않을수 도 있다.
• Simpler parsing 에는 더 효과적 일수도 있다.
  • 구문의 복잡 성이 낮아지고, 처리하는 시간이 줄어든다.
• Full parsing은 많은 NLP Application에 대해 충분히 강력 하지가 않다.
• Full parsing 시끄러운 환경에서는 좋은 parse tree를 식별하지 못한다.

---

What Is Partial Parsing?

• Full Traditional Parsing의 어려움에 대한 대안으로 도입
• 분석의 완성도 & 깊이를 희생하여 제한되지 않은 text로 부터 Syntatic(구문) 정보를 효율 & 안정적으로 복구하는 기술로 설명
• 완성도가 떨어지고, 깊이도 깊지가 않다. - 얕은 구문 분석
  • 문장을 일련의 Syntactic constituents (통사적 구성요소) or Chunks(덩어리)로 분할
  • 즉, 언어적 특성에 기초하여 그룹화된 word의 순서
• 한층에서 만나는 구조
  • 객체명을 사용할때 쓰인다.
  • Terminology Discovery (용어 검색)
  • Named Entity Recognition (명명된 엔티티 인식)
  • Text Mining (텍스트 마이닝)
  • An intermediate step providing input to further full parsing stages
    • (전체 구문 분석 단계에 대한 입력을 제공하는 중간 단계)

---

Chunking

• 문장을 겹치지 않게 하는것 & 반복되지 않는것 으로 분할한다.
• 절대로 overlapping 되게 그리지 않는다.

💡 [Her new shipment] NP [of] PP [facemasks] NP [arrived] VP

• Not Hierarchical - 비 계층적
• flat segmented representation - 평면 분할 표현
  

문장의 fllat, non-overlapping인 segment를 식별 & 분류 하는 과정

• 주요 content-word의 음성(part of speech)부분에 해당하는 basic non-recursive phrase (기본 비재귀 구문)을 구성하는 segment

→ NPs, VPs, APs & PPs

---

Lacking hierarchical structure - 계층 구조의 부족.

• 간단한 대괄호 표기법은 Chunk의 위치와 유형을 나타내기에 충분

💡 Example
[NP The morning flight] [PP from] [NP Denver] [VP has arrived.]

---

Segmenting

non-overlapping (중복X), non-recursive (반복 X)인

💡 Example

Her new shipment of facemasks arrived
[Her new shipment] [of] [facemasks] [arrived]

• fundermental phrase(기본 구문) 찾기

---

Labeling

• 찾은 Chunk에 대해 올바른 Tag 할당

💡 Example

[Her new shipment] NP [of] PP [facemasks] NP [arrived] VP

• 하는 일에 따라 달라질 수도 있다.

---

일반적인 가이드라인

• Non-Recursive → 분할되지 않음. (Segment를 더 작은 Chunk로 분할)

💡 Example

NP -> NP PP
PP -> prep NP

• 단어를 구성하는 head를 유지한다.
  • NP noun
• head word앞에 나타나는 모든 material를 구성 요소에 속하도록 유지

💡 [Her new shipment] NP of facemasks arrived

---

대부분의 접근 방식에서 기본 구문(Basic Phrase)

1. Phrase의 headword & 구성하는 요소 내의 모든 pre-head Material를 포함
2. Post-head Material를 완전히 배제한다.
   • 이러한 배제는 PP & VV가 종종 head로 구성되는 이상한 점을 초래할 수도 있다.

💡 Example

[Her new shipment] NP [of] PP [facemasks] NP [arrived] VP
[a flight] NP [from] PP [Indianapolis] NP [to] PP [Houston] NP [on] PP [NWA] NP

1. • But, 많은 attachement의 모호함을 제거한다!!!