K-최근접 이웃의 한계K-최근접 이웃 모델의 한계는 만약 새로운 샘플의 값이 Training_set의 범위를 벗어나면 엉뚱한 값을 예측할수 있습니다.한번 알아보기 위하여 전에 사용한 데이터랑 모델을 준비해서 한번 돌려보겠습니다.import numpy as npperch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0, 21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7, 23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5, 27.5, 28.0, 2..
K-최근접 이웃 회귀K-최근접 이웃 회귀에 데하여 설명을 드리기 전에, 회귀에 대하여 설명을 드리겠습니다.회귀(Regression)은 지도학습 알고리즘의 종류중 하나이며, Sample을 몇개의 Class중 하나로 분류하는 문제입니다.지도학습 알고리즘중 하나인 분류와 똑같이 예측하려는 Sample에 가장 가까운 Sample K개를 선택합니다.그림에서 보여드렸듯이, 예를 들면 샘플 X의 Target값을 구하려고 합니다. 각각 이웃한 샘플의 타겟값이 100, 80, 60 이면, 이를 평균화하면, Sample X의 예측 Target값은 80이 됩니다.데이터 준비이번에는 훈련 데이터를 Numpy 배열로 바로 만들어서 변환해보겠습니다.농어의 길이를 특성, 무게를 Target으로 하겠습니다.import numpy a..
데이터 전처리란?데이터 전처리는 쉽게 말하자면 모든 인공지능 모델에 데이터를 주입하기 전에, 데이터를 넣기 좋게 가공하는 단계를 말합니다.올바른 결과를 도출하기 위하여 데이터를 사용하기 전에 데이터 전처리 과정을 거칩니다.Numpy로 Data 준비하기한번 데이터를 준비 해보겠습니다. 전에 사용했던 도미, 빙어 데이터를 준비해 보았습니다.# 생선의 길이fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0..
훈련 세트와 테스트 세트지도 학습과 비지도 학습머신러닝 알고리즘은 크게 지도 학습(Supervised Learning)과 비지도 학습(Unsupervised Learning)으로 나눌수 있습니다.지도 학습 (Supervised Learning)에서는 데이터와 정답을 입력(Input)과 타깃(Target)이라고 하고, 이 둘을 합쳐 훈련 데이터(Training Data)라고 부릅니다.K-최근접 알고리즘은 Input data와 Target을 사용했으므로 당연히 지도 학습 알고리즘 입니다.그리고 Input으로 사용된 길이 & 무게를 특성(feature)이라고 합니다.비지도 학습(Unsupervised Learning)은 Target 없이 Input 데이터만 사용합니다. 이런 알고리즘은 정답을 사용하지 않으므로..
이 글은 학회 스터디를 하면서 혼자 공부하는 머신러닝 + 딥러닝 책을 공부해서 적은 내용이니 참고 바랍니다.기본적인 개념보다는 실습 내용에 기반을 두고 글을 작성하였으니 참고 바랍니다.1- 1. 인공지능과 머신러닝, 딥러닝인공지능이란?인공지능은 사람처럼 학습하고 추론할 수 있는 지능을 가진 컴퓨터 시스템을 만드는 기술입니다. 머신러닝이란?머신러닝이란 규칙을 일일이 프로그래밍 하지 않아도 자동으로 데이터에서 규칙을 학습하여 알고리즘을 연구하는 분야입니다.대표적인 라이브러리는 scikit-learn 라이브러리딥러닝이란?많은 머신러닝 알고리즘 중에 인공신경망(Artificial Netural Network)을 기반으로 한 방법들을 통칭하여 딥러닝이라고 부릅니다.대표적으로 Pytorch, Tensorflow ..
Numpy가 뭐에요? Python 에서 과학적 계산 & 수치를 계산하기 위한 핵심 라이브러리입니다. NumPy는 고성능의 다차원 배열 객체와 이를 다룰 도구를 제공합니다. 수치 계산을 위한 매우 효과적인 인터페이스를 제공하며, 이는 데이터 분석, 머신 러닝 등 다양한 분야에서 사용됩니다. 딥러닝을 공부할때, 배열이나 행렬을 사용할때가 많은데, numpy를 이용하면 이 배열이나, 행렬을 구현할때 매우 편리합니다. 추가 말씀으로, 여기서부터는 Jupyter Notebook을 이용하여 코드블럭을 작성하였기 때문에, python Idle나 다른 Tool로 이용하시는 분들과 나오는 형식이 다를수도 있습니다. 참고 바라요! Numpy 어떻게 가져와요? numpy는 일반 파이썬 내장 라이브러리에 있는것이 아니고, 외..
Syntactic analysis in NLP Parsing - PP & NP의 반복.. Counsituency Parsing의 단점을 보완한 것이 Dependency Parsing Counsituency Parsing Structure Tree Dependenxy Parsing Structure Tree Dependent Grammer head가 dependent 일 때 도 있고 서로 반대일 수도 있다. 종속성에 기반 Dependency Structure는 Word(head)와 그것의 Dependent과의 관계에 의해 결정된다. 의미적으로 관계가 있는것 들만 연결된다. - 의미적으로만 연결되면 묶을수 있으므로 비교적 자유로운것이 특징 자유 어순(Free word order)의 언어 분석에 매우 적합 P..
Sentence Sentence Structure “The child found the puppy” 문장은 다음과 같은 템플릿을 기반으로 한다고 말할 수 있다. Det—N—V—Det—N 이것은 문장이 내부 구조가 없는 단어의 문자열에 불과하다는 것을 의미 문장은 한층 짜리 뚜렷한 구조로 이루어져 있지 않고, 계층적 구조 로 이루어져 있다. 이 문장은 실제로 여러 그룹으로 나눌 수 있다 어떻게 결합하는 지에 따라 말의 의미가 달라진다. 💡 example [the child] [found a puppy] [the child] [found [a puppy]] [[the] [child]] [[found] [[a] [puppy]] 트리 다이어그램은 문장의 계층 구조를 보여주는 데 사용된다. Syntactic Ca..
Syntax - 문장의 pattern 연구 (문법) Syntax 모든 인간 언어를 구사하는 사람은 무한한 수의 가능한 문장을 생산하고 이해할 수 있다. 하지만, 우리는 가능한 모든 문장들에 대한 mental dictionary을 가질 수 없다. 오히려, 우리는 우리의 뇌에 저장된 문장을 형성하기 위한 규칙을 가지고 있습니다. What Grammaticality Is Not Based On 문법성 은 의미 & 진실성에 기초 하지 않는다. 💡 example Enormous crickets in pink socks danced at the prom. 무도회에서 분홍색 양말을 신은 거대한 귀뚜라미가 춤을 추었다. 귀뚜라미가 춤을 추었다는건 → 말이 되지 않음. 문법은 맞아도 말이 되지 않는다. → 그렇지만 Di..
The Words of Language 단어는 언어적 지식의 중요한 부분 & 문법의 구성 요소를 구성 우리가 아는 모든 단어는 mental dictionary를 가지고 있다. Pronunciation (발음) Meaning (의미) Orthography (Spelling) - 맞춤법 Grammatial Category (문법 범주) Morphology (형태소) 형태소 라고 하는 작은 단위로 본다. 유한한 데이터에서 만들어 내지만 유한한 규칙이 있다. example) 나는 학교에 간다, 하늘을 나는 새 실제로 Morphological Persing하면 똑같은 나는 이지만 나 → 대명사, 조사 생각만 난다. Normalization (표준화) 문장을 나누려면 문장부호 가 있어야 한다, 부호 없어도 나눠야 ..
