Target을 모르는 Unsupervised Learning(비지도 학습)Target을 모로는 데이터를 종류별로 분류하려고 할때 사용하는 ML 알고리즘이 있습니다.바로 Unsuperivsed Learning (비지도 학습) 입니다. 사람이 알려주지 않아도, 데이터에 있는 무언가를 학습하는 방식이라고 생각하시면 편합니다.그러면 한번 데이터를 준비해 보겠습니다.Data 준비하기사과, 바나나, 파인애플로 구성된 흑색 사진의 과일 데이터를 준비해보겠습니다.!wget https://bit.ly/fruits_300_data -O fruits_300.npy--2023-07-16 14:21:20-- https://bit.ly/fruits_300_dataResolving bit.ly (bit.ly)... 67.199...

Gradient Boosting (그레이언트 부스팅)그레이디언트 부스팅(Gradient Boosting)은 얕은 결정 트리들을 사용하여 이전 트리의 오차를 보완하는 방식으로 앙상블을 구성하는 기법입니다.사이킷런의 GradientBoostingClassifier는 기본적으로 깊이가 3인 결정 트리를 100개 사용합니다. 얕은 결정 트리를 사용하기 때문에 과대적합에 강하고, 일반적으로 높은 일반화 성능을 기대할 수 있습니다.'그레이디언트'라는 이름에서 알 수 있듯이, 이 방법은 경사 하강법을 사용하여 트리를 앙상블에 추가합니다. 분류 문제에서는 로지스틱 손실 함수를 사용하고, 회귀 문제에서는 평균 제곱 오차 함수를 사용합니다.경사 하강법의 원리처럼, 그레이디언트 부스팅은 손실 함수의 최소점을 찾기 위해 모델..

Extra Trees (엑스트라 트리)엑스트라 트리(Extra Trees)는 랜덤 포레스트와 매우 유사하게 동작하며, 기본적으로 100개의 결정 트리를 훈련합니다.이 모델은 랜덤 포레스트와 마찬가지로 대부분의 결정 트리 매개변수를 지원하고, 일부 특성을 랜덤하게 선택하여 노드를 분할하는 데 사용합니다.랜덤 포레스트와 엑스트라 트리의 주요 차이점은 부트스트랩 샘플을 사용하지 않는다는 점입니다.즉, 각 결정 트리를 만들 때 전체 훈련 세트를 사용합니다. 대신, 노드를 분할할 때 가장 좋은 분할을 찾지 않고 무작위로 분할합니다.사실, 이전에 DecisionTreeClassifier의 spliter 매개변수를 'random'으로 설정한 것이 바로 엑스트라 트리에서 사용하는 방식입니다.각 결정 트리에서 특성을 무..

정형 데이터와 비정형 데이터랜덤 포레스트에 대해 배우기 전에 우리가 다루었던 데이터를 되돌아보겠습니다.길이, 높이, 무게 등의 데이터를 사용했습니다. 이 데이터는 CSV 파일에 가지런히 정리되어 있었죠.이번에도 사용한 와인 데이터도 CSV 파일이었습니다.# CSV 파일 예시length, height, width8.4, 2.11, 1.4113.7, 3.53, 2.0이런 형태의 데이터를 정형 데이터(structured data)라고 부릅니다. 쉽게 말해, 어떤 구조로 되어있다는 뜻이죠.이런 데이터는 CSV나 데이터베이스(DataBase), 혹은 엑셀(Excel)에 저장하기 쉽습니다.온라인 쇼핑몰에 진열된 상품과 우리가 구매한 쇼핑 정보는 모두 데이터베이스에 저장되는 정형 데이터에 속합니다.사실 프로그래머가 ..

Validation Set (검증 세트)Test Dataset을 사용하지 않으면 모델이 과대적합인지 과소적합인지 판단하기 어렵습니다.테스트 세트를 사용하지 않고 이를 측정하는 간단한 방법은 Training Dataset을 나누는 방법입니다.이 나눈 Dataset를 Validation Set (검증 세트)라고 부릅니다.전체 데이터셋이 100%라고 하면 전체 데이터셋 중에서 20%만 Test Dataset으로 만들고, 80%를 Train Dataset으로 구성했으면, 이 Training Dataset중 20%를 떼어 내어서 Validation Dataset으로 나눕니다.Training Dataset에서 Model을 Training하고 Validation Set로 모델을 평가합니다.이런식으로 Test 하고 싶..

Logistic Regression (로지스틱 회귀) 로 와인 분류하기와인을 분류 하기 위해서 일단 데이터셋을 불러오겠습니다.import pandas as pdwine = pd.read_csv('https://bit.ly/wine_csv_data')wine.head()이렇게 데이터셋을 Pandas DataFrame으로 잘 불러 왔는지 head() Method로 한번 불러왔습니다.처음 3개의 열(alcohol, suger, pH)는 알코올 도수, 당도, pH(산도)를 나타냅니다.class는 타깃값이 0이면 레드와인, 1이면 화이트 와인 이라고 합니다.이건 레드 & 화이트 와인을 구분하는 Binary Classification(이진 분류)문제 인거 같습니다. 즉, 전체 와인의 데이터에서 화이트 와인을 골라내..

확률적 경사 하강법확률적 경사 하강법(Stochastic Gradient Descent)은 점진적 학습 알고리즘 중 하나입니다. 그 전에 점진적 학습 알고리즘에 대하여 설명을 드리면, 이전에 훈련한 모델을 버리고 새로운 모델을 훈련하는 것이 아닌, 기존의 훈련한 모델은 그대로 두고, 새로운 데이터에 데한 훈련을 기존의 모델을 이용하여 학습 하는 알고리즘 입니다.그래서 본론으로 돌아오면, 확률적 경사 하강법에서 확률적이란 말은 '무작위하게' 혹은 '랜덤하게' 의 기술적인 표현입니다.그리고 경사는, 기울기를 의미합니다. 즉, 그러면 확률적 경사 하강법은 경사를 따라 내려가는 방법입니다.경사하강법의 특징은 가장 가파른 경사를 따라 원하는 지점에 도달하는것을 목표로 삼고있습니다. 다만, 가파른 경사를 내려갈때에..

로지스틱 회귀럭키백의 확률K-최근접 이웃 알고리즘은 주변 이웃을 찾아주니까 이웃의 클래스 비율을 확률이라고 출력하면 될수 있다고 생각합니다.보면 샘플 X 주위에 가장 가까운 이웃 샘플 10개를 표시했습니다. 삼각형이 5개, 사각형이 3개, 원 2개가 있습니다.이웃한 샘플의 클래스를 확률로 삼는다면 샘플 X가 사각형이 확률은 30%, 삼각형일 확률은 50%, 원인 확률은 20%입니다.Scikit-learn의 K-최근접 이웃 분류기도 이와 동일한 방식으로 Class 확률을 계산하여 제공합니다. 한번 데이터를 불러와서 해보겠습니다.데이터 준비import pandas as pdfish = pd.read_csv('https://bit.ly/fish_csv_data')fish.head()# Species(7개의 생..

다중 회귀(Characteristic Engineering and Regulation)다중 회귀여러개의 특성을 사용한 선형 회귀(Linear Regression)를 다중 회귀(Multiple Regression)이라고 부릅니다.1개의 특성을 사용했을때, 선형 회귀 모델이 학습 하는것은 직선입니다. 2개의 특성을 사용하면 선형 회귀는 평면을 학습합니다.왼쪽 그림이 1개의 특성을 사용한 선형 회귀 모델이 학습 하는 모델, 오른쪽 그림이 2개의 특성을 사용한 선형 회귀 모델입니다.오른쪽 그림처럼 특성이 2개면 Target값과 함께 3차원 공간을 형성하고 선형 회귀 방정식은 평면이 됩니다.Target = a x 특성1 + b x 특성2 + 절편그러면 특성이 3개일 경우에는? 우리는 3차원 공간을 그리거나 상상할..

K-최근접 이웃의 한계K-최근접 이웃 모델의 한계는 만약 새로운 샘플의 값이 Training_set의 범위를 벗어나면 엉뚱한 값을 예측할수 있습니다.한번 알아보기 위하여 전에 사용한 데이터랑 모델을 준비해서 한번 돌려보겠습니다.import numpy as npperch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0, 21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7, 23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5, 27.5, 28.0, 2..