'📝 NLP (자연어처리)' 카테고리의 글 목록 (3 Page)

📝 NLP (자연어처리)/📕 Natural Language Processing

[NLP] Tokenization - 토큰화란?

2024.01.16

Tokenization - 토큰화 1. 토큰화란? 💡 문장을 토큰 시퀀스로 나누는 과정 → 문자, 단어, 서브워드등 3가지 방법 토근화를 수행하는 프로그램을(Tokenizer)라고 한다. 토근화 방식에는 여러가지가 있음 → 단어(어절), 문자, 서브워드(Subword) 단위 단어 단위 토큰화 공백으로 분리 장점: Tokenizer를 사용하면 어휘 집합이 커지는거 완화 💡 Example 은전한닢으로 토큰화 → 그렇다고 은전한닢 같은 Tokenizer 사용해요 어휘집합 크기가 커지는건 막기 어려움 (어휘 집합 크기가 커질수록..) 문자 단위 토근화 💡 문자 단위 → 모든 문자를 어휘 집합에 포함함으로 미등록 토큰 문자로부터 자유롭다. 미등록 토큰: 어휘 집합에 없는 토큰 - 신조어등 에서 발생 단점: 각 문..

📝 NLP (자연어처리)/🗨️ Linguistic Engineering

[Words] Word Tokenization - Morphemes (형태소)

2024.01.16

Word Tokenization - Morphemes Word-based tokenization - 사람이 쓰는 단어의 의미 큰 사전이 있어야 한다. 사전에 없는 단어가 있으면 처리 불가 → 해결하려면 사전이 엄청 커야해! 보이지 않는 단어나 희귀한 단어를 잘 처리할 수 없음 해결책 → subword tokenization Subword tokenization 보통 말뭉치 에 자주 등장하는 단어들의 집합, 빈도가 낮은 단어는 어휘가 부족할 수도 단어보다 더 쪼개. 그렇다고 단어 or 글자도 아님 , 그 중간에서 자른다. 빈도가 낮은건 최대한 자르고 싶은 욕구에 의하여 만들어짐 본적 없는 단어, 흔하지 않은 단어 기존의 NLP는 고정된 어휘로 작동 → 그 밖에 있는 모든 토큰은 UNK(알수없음)으로 축소 ..

📝 NLP (자연어처리)/🗨️ Linguistic Engineering

[Words] 한국어 형태소 & Other Morphological Processes

2024.01.16

한국어 형태소 한국어는 교착어 / 어근에 접사가 붙어서 문법이 결정 어근 단어를 분석할 때 실질적 의미를 나타내는 중심 부분 ex) 어른스럽다-> 어른 접사 다른 어근에 붙어 새로운 단어를 구성 접두사, 접미사 ex) 맨손, 선생님 조사 문법적, 관계적 뜻을 나타내는 단어 ex) 철수가 밥을 어미 활용하여 변하는 부분 선어말 어미, 어말 어미 ex) 먹는 다, 분석하겠 습니다. ex) 어머니가 책을 읽으셨겠네요 어머니 가 책 을 읽 으시 었 겠 네요 몇 개의 문장을 통해 형태소 분석을 해 보겠습니다. 몇[관형사] / 개[명사] / 의[조사] / 문장[명사] / 을[통[어근] / 해[하[접미사] / 야[여말어미]]/ 겠[선어말어미] / 습니다[어말어미] 형태[명사]/ 소[명사] / 분석[명사] / 을[조사..

📝 NLP (자연어처리)/🗨️ Linguistic Engineering

[Semantics & Pragmatics] Thematic Roles - 의미역

2024.01.16

Thematic Roles (의미역) Thematic [Ɵ] roles (의미역) : 동사의 인수와 동사가 설명하는 상황 사이의 관계를 표현 Agent: the ‘doer’ of the action 어떤 행동의 ‘실행자’ Theme: the ‘undergoer’ of the action 행동의 ‘발단’ Goal: the endpoint of a change in location or possession 위치 & 소유권 변경의 끝 Source: where the action originates 동작이 발생하는곳 Instrument: the means used to accomplish an action 어떤 수단을 가지고 완성한거 - key 같은 개념 어떤 행동을 하기 위해 사용되는 수단 Experience..

📝 NLP (자연어처리)/🗨️ Linguistic Engineering

[Semantics & Pragmatics] Lexical Semantics - 어휘 의미론

2024.01.16

Lexical Semantics: Reference & Sense Referent (지시 대상): 단어로 지정된 실제 사물한 단어가 어떤 가리키는 대상이 있는 것. 💡 Example Jack, the happy swimmer, my friend, and that guy can all have the same referent in the sentence Jack swims. -> Jack = the happy swimmer = my friend = that guy 간단해 보이지만, 똑같은 의미를 가지고 있는걸 지칭하는 건 쉽지가 않다. 의미를 파악해야 찾을 수 있다. - 지시 대상이 같아도 의미가 다르면 같다고 할 수 없다. 💡 Example Superman, born Kal-El and legally n..

📝 NLP (자연어처리)/🗨️ Linguistic Engineering

[Semantics & Pragmatics] The meaning of language - 의미론, 어용론

2024.01.16

Semantics (& Pragmatics) Semantics (& Pragmatics) - The meaning of language When Compositionality Goes Awry: Anomaly Sentential Semantics (문장 의미론) 화자가 문장 의미에 대해 아는 것 💡 Example Truth Entailment and Related Notions Ambiguity Compositional Semantics (구성 의미론) When Compositionality Goes Awry 💡 Example Anomaly Metaphor Idioms Lexical Semantics (Word Meanings) - 어휘 의미론 (단어 의미) 💡 Example Theories of Wor..

📝 NLP (자연어처리)/📕 Natural Language Processing

[NLP] 처음 만나는 자연어 처리 & Transfer Learning

2024.01.16

딥러닝 기반 자연어 처리 모델 💡 모델(Model): 입력을 받아 어떤 처리를 수행하는 함수, 자연어처리에서의 input은 자연어 💡 모델의 출력은 확률이라는 점에 주목을 해야한다. 자연어처리 모델의 출력도 확률 → 그러나, 모델의 출력 형태는 확률, 사람이 원하는건 자연어 형태. 그러면 출력된 확률을 후처리 해서 자연어 형태로 변환을 해야한다. 딥러닝 모델에서는 데이터에 ‘감성’ 이라는 레이블을 달아 놓은 데이터가 있어야 한다. → 이걸 학습 데이터 라고 한다. 그리고 모델이 데이터의 패턴을 스스로 익히게 하는 과정 → 학습(train) Transfer Learning 💡 트랜스퍼 러닝: 특정 Task를 학습한 모델을 다른 테스크 수행에 재사용하는 기법을 가리킴 트랜스퍼 적용시 기존보다 모델의 학습 속..

📝 NLP (자연어처리)/🗨️ Linguistic Engineering

[Syntax] Syntactic analysis in NLP - NLP에서 구문분석

2023.07.26

Syntactic analysis in NLP Parsing - PP & NP의 반복.. Counsituency Parsing의 단점을 보완한 것이 Dependency Parsing Counsituency Parsing Structure Tree Dependenxy Parsing Structure Tree Dependent Grammer head가 dependent 일 때 도 있고 서로 반대일 수도 있다. 종속성에 기반 Dependency Structure는 Word(head)와 그것의 Dependent과의 관계에 의해 결정된다. 의미적으로 관계가 있는것 들만 연결된다. - 의미적으로만 연결되면 묶을수 있으므로 비교적 자유로운것이 특징 자유 어순(Free word order)의 언어 분석에 매우 적합 P..

📝 NLP (자연어처리)/🗨️ Linguistic Engineering

[Syntax] Sentence Structure - 문장 구조

2023.07.26

Sentence Sentence Structure “The child found the puppy” 문장은 다음과 같은 템플릿을 기반으로 한다고 말할 수 있다. Det—N—V—Det—N 이것은 문장이 내부 구조가 없는 단어의 문자열에 불과하다는 것을 의미 문장은 한층 짜리 뚜렷한 구조로 이루어져 있지 않고, 계층적 구조 로 이루어져 있다. 이 문장은 실제로 여러 그룹으로 나눌 수 있다 어떻게 결합하는 지에 따라 말의 의미가 달라진다. 💡 example [the child] [found a puppy] [the child] [found [a puppy]] [[the] [child]] [[found] [[a] [puppy]] 트리 다이어그램은 문장의 계층 구조를 보여주는 데 사용된다. Syntactic Ca..

📝 NLP (자연어처리)/🗨️ Linguistic Engineering

[Syntax] Syntax Intro - 구문

2023.07.26

Syntax - 문장의 pattern 연구 (문법) Syntax 모든 인간 언어를 구사하는 사람은 무한한 수의 가능한 문장을 생산하고 이해할 수 있다. 하지만, 우리는 가능한 모든 문장들에 대한 mental dictionary을 가질 수 없다. 오히려, 우리는 우리의 뇌에 저장된 문장을 형성하기 위한 규칙을 가지고 있습니다. What Grammaticality Is Not Based On 문법성 은 의미 & 진실성에 기초 하지 않는다. 💡 example Enormous crickets in pink socks danced at the prom. 무도회에서 분홍색 양말을 신은 거대한 귀뚜라미가 춤을 추었다. 귀뚜라미가 춤을 추었다는건 → 말이 되지 않음. 문법은 맞아도 말이 되지 않는다. → 그렇지만 Di..

티스토리툴바