Ch5-1. Decision Tree (결정 트리)

Logistic Regression (로지스틱 회귀) 로 와인 분류하기

와인을 분류 하기 위해서 일단 데이터셋을 불러오겠습니다.

import pandas as pd
wine = pd.read_csv('https://bit.ly/wine_csv_data')
wine.head()

• 이렇게 데이터셋을 Pandas DataFrame으로 잘 불러 왔는지 head() Method로 한번 불러왔습니다.
• 처음 3개의 열(alcohol, suger, pH)는 알코올 도수, 당도, pH(산도)를 나타냅니다.
• class는 타깃값이 0이면 레드와인, 1이면 화이트 와인 이라고 합니다.
• 이건 레드 & 화이트 와인을 구분하는 Binary Classification(이진 분류)문제 인거 같습니다. 즉, 전체 와인의 데이터에서 화이트 와인을 골라내는 문제입니다.
• 골라내기 전에, 데이터프레임의 각 열 & 데이터 타입과 누락된 데이터가 있는지 확인해 보겠습니다.

# wine-dataframe(어떤 type의 데이터, 크기가 얼마인지 정보 제공)
# Non-Null count: 누락된 값 확인 (만약 있으면 6496개가 나옴)
wine.info()

# 평균, 표준편차, 최소, 최대값 등 정보 확인 (describe method)
wine.describe()

이렇게 EDA 과정을 거쳐서 알수 있는건 알코올 도수, 당도, pH(산도)값의 scale이 다르다는 것입니다. Scikit-learn의 StandardScaler 클래스를 사용해서 특성들을 표준화 하겠습니다.
그전에, Pandas Dataframe을 Numpy 배열로 봐꾸고 Training, Test set로 나누겠습니다.

# Pandas Dataframe를 numpy 배열로 봐꿈
data = wine[['alcohol', 'sugar', 'pH']].to_numpy()
target = wine['class'].to_numpy()

• wine의 Dataframe에서 처음 3개의 열을 Numpy 배열로 봐꿔서 data에 저장하고, class 열은 봐꿔서 target 배열에 저장하겠습니다.
• 그리고 Training, Test set로 나누겠습니다.

# Data를 train, test set로 나눔
from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(data, target, test_size=0.2, random_state=42)

여기서 만약에 train_test_split() 함수는 설정값을 지정하지 않으면 25%를 테스트 세트로 나눕니다.
여기서는 샘플개수가 충분히 많으므로 20%정도만 Test Set로 나누겠습니다. 
여기서 test_size=0.2가 이런 의미 입니다. 한번 나눈 Training, Test set의 크기를 확인해 보겠습니다.

print(train_input.shape, test_input.shape)

(5197, 3) (1300, 3)

• Training set는 5,197개, Test set는 1,300개로 나누어 진걸 확인했습니다.
• 이제 StandardScaler 클래스를 사용해서 Training set를 전처리 한후, 같은 객체를 사용해서 Test set도 변환 하겠습니다.

from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
ss.fit(train_input)
train_scaled = ss.transform(train_input)
test_scaled = ss.transform(test_input)

• 표준 점수로 변환된 train_scaled, test_scaled를 사용해서 Logistic Regression 모델을 훈련하겠습니다. 

from sklearn.linear_model import LogisticRegression

lr = LogisticRegression()
lr.fit(train_scaled, train_target)
print(lr.score(train_scaled, train_target))
print(lr.score(test_scaled, test_target))

0.7808350971714451
0.7776923076923077

생각외로, 점수가 높지 않네요, 뭔가 점수가 낮으니까 과대적합 된거 같습니다.
그래도 이 모델을 판단하기 위해서 학습한 계수 & 절편을 출력해 보겠습니다.

# 학습한 계수, 절편 출력
print(lr.coef_, lr.intercept_)

[[ 0.51270274. 1.6733911. -0.68767781 ]] [1.81777902]

---

Decision Tree(결정 트리)

모델의 정확도 판단 몇 설명을 하기 위해서는 Decision Tree(결정 트리) 모델을 사용하기도 합니다.

• 데이터를 잘 나눌수 있는 질문들을 찾아서 보면 계속 질문을 추가해서 분류 정확도를 높일 수 있습니다.
• 여기서 Scikit-learn은 Decision Tree Algorithm을 제공합니다.
• 한번  Scikit-learn의 Decision Tree Algorithm을 사용해서 결정트리 모델을 훈련시켜 보겠습니다. 
• 처음 보는 클래스 이지만, 학습 방법은 Logistic Regression 과 동일합니다. fit() Method를 호출해서 모델을 훈련한 다음, score() Method로 정확도를 평가해 보겠습니다.

from sklearn.tree import DecisionTreeClassifier

dt = DecisionTreeClassifier(random_state=42)
dt.fit(train_scaled, train_target)

print(dt.score(train_scaled, train_target)) # 훈련 세트
print(dt.score(test_scaled, test_target)) # 테스트 세트

0.996921300750433
0.8592307692307692

보시면, 훈련세트에 대한 점수는 높지만 테스트 세트의 성능은 그에 비해서 조금 낮은거 같습니다. 과대 적합 되었다고 볼 수 있겠네요.
근데 어떻게 해야 결정트리를 시각화 할 수 있을까요? Scikit-learn은 plot_tree() 함수를 사용해서 결정트리를 이해하기 쉬운 그림
으로 출력해줍니다. 한번 해보겠습니다.

# 결정트리 시각화
import matplotlib.pyplot as plt
from sklearn.tree import plot_tree

plt.figure(figsize=(10,7))
plot_tree(dt)
plt.show()

• 이 트리는 일반적인 트리들과는 약간 다릅니다. 결정트리의 맨위는 root node, 맨 아래는 leaf node로 봅니다.
• 일반적인 트리와는 반대로 볼수 있습니다.

- 참고 사항.
끝까지 오면 음수,양수 인지 구분 가능(red,white wine 인지)
마지막 leaf node에 있는 예측값이 새로운 sample x에 대한 예측값.
분류인 경우 최근접 이웃과 비슷, 마지막 leaf node에 들어있는 sample들중 다수의 class가 예측 클래스
회귀는 마지막 leaf node의 sample들의 target값의 평균이 x sample의 예측값.

근데, 트리가 너무 복잡해 보이지 않나요? 한번 트리의 깊이를 제한해서 출력해 보겠습니다.

• max_depth의 매개변수를 1로 주면, 루트 노드를 제외하고 하나의 노드를 더 확장해서 그립니다. 
• 그리고 filled 매개변수에서 클래스에 맞게 노드의 색을 칠할 수 있습니다. 
• feature_names 매개변수에서 특성의 이름을 전달할 수 있습니다. 이것을 보면 노드가 어떠한 특성들로 나뉘는지 알수 있습니다. 한번 그려보겠습니다.

plt.figure(figsize=(10,7))
plot_tree(dt, max_depth=1, filled=True, feature_names=['alcohol', 'sugar', 'pH'])
plt.show()

그러면 이제 그림을 읽는 방법을 한번 알아보겠습니다.

결정트리 분석 예제 그림

루트 노드

• 루트 노드는 당도(sugar)가 -0.239 이하인지 질문을 합니다.
• 만약 어떤 샘플의 당도가 -0.239와 같거나 작으면 왼쪽 가지로 갑니다.
• 그렇지 않으면 오른쪽 가지로 이동합니다.
• 즉 왼쪽이 Yes, 오른쪽이 No입니다.
• 루트 노드의 총 샘플 수 (samples)는 5,197개 입니다.
• 이 중에서 음성 클래스(레드 와인)는 1,258개 이고,
• 양성 클래스(화이트 와인)는 3,939개입니다. 이 값이 value에 나타나 있습니다.

왼쪽 노드

• 왼쪽 노드를 살펴보겠습니다. 이 노드는 당도가 더 낮은지를 물어보네요.
• 당도가 -0.802와 같거나 낮다면 다시 왼쪽 가지로, 그렇지 않으면 오른쪽 가지로 이동합니다.
• 이 노드에서 음성 클래스와 양성 클 래스의 샘플 개수는 각각 1,177개와 1,745개입니다.
• 루트 노드보다 양성 클래스, 즉 화이트 와인의 비율이 크게 줄어들었습니다
• 그 이유는 오른쪽 노드를 보면 알 수 있습니다.

 

오른쪽 노드

• 오른쪽 노드는 음성 클래스가 81개, 양성 클래스가 2,194개로 대부분의 회이트 와인 샘플이 이 노드로 이동했습니다.
• 노드의 바탕 색깔을 유심히 보세요. 루트 노드보다 이 노드가 더 진하고, 왼쪽 노드는 더 연해지지 않았나요?
• plot_tree() 함수에서 filled=True로 지정하면 클래스 마다 색깔을 부여하고 어떤 클래스의 비율이 높아지면 점점 진한색 으로 표시합니다. 아주 직관적이네요.

결정 트리에서 예측 하는 방법은 간단합니다. Leaf Node에서 가장 많은 클래스가 예측 클래스가 됩니다.
앞에서 보았던 k-최근접 이웃과 비슷합니다.
만약에 결정트리의 성장을 멈춘다면, 왼쪽 노드에 도달한 샘플과 오른쪽 노드에 도달한 샘플은 모두 양성 클래스로 예측 됩니다.
두 노드 모두 양성 클래스의 개수가 많기 때문입니다.

양수(파란색), 음수(빨간색)으로 표현
테스트 조건(sugar), 불순도 (gini), 총 샘플수(samples), 클래스별 샘플 수(value)
leaf node 나누는 기준:sugar

• 근데...? 노드 상자 안에 gini 라는 것이 있네요..? 이게 뭔지 알아 보겠습니다.

---

Gini Impurity (지니 불순도)

Gini는 지니불순도 입니다. DecisionTreeClassifier 클래스의 Criterion 매개변수의 기본값이 'gini'입니다.
Criterion 매개변수의 영도는 노드에서 데이터를 분할할 기준을 정하는 것입니다. 그러면 지니 불순도는 어떻게 구하는 것일까요?
지니 불순도는 클래스의 비율을 제곱해서 더한 만큼 1을 빼면 됩니다.

• 만약, 다중 클래스면 클래스가 더 많겠지만? 계산 하는 방법은 동일합니다.
• 그러면 이전 트리 그림에 있던 루트 노드의 지니 불순도를 계산해 보겠습니다.
• 루트 노드는 5,197개의 샘플이 있고 1,258개의 음성 클래스, 3,939개가 양성 클래스 입니다.
• 따라서 다음과 같이 지니 불순도를 계산할 수 있습니다.

그러면, 한번 왼, 오른쪽의 지니 불순도도 한번 계산해 보겠습니다. 만약 100개의 샘플이 있는 노드의 클래스의 비율이 1/2면,
지니불순도는 0.5가 되어 최악이 됩니다.

노드에 하나의 클래스가 있으면 지니 불순도는 0이 되어서 가장 작습니다. 이런 노드를 순수 노드라고 부릅니다.

예를 들어 앞의 트리 그림에서 루트 노드를 부모 노드라 하면 왼쪽 노드와 오른쪽 노드가 자식 노드 가 됩니다
왼쪽 노드로는 2,922개의 샘플이 이동했고 오른쪽 노드로는 2,275개의 샘플이 이동했습니다.
그러면, 불순도의 차이는 다음과 같이 계산합니다.

• 이러한 부모와 자식 노드 사이의 불순도 차이를 정보이득(Imformation Gain)이라고 부릅니다.
• 근데, Scikit-learn에 또 다른 불순도 기준이 있습니다.
• DecisionTreeClassifier 클래스에서 criterion=‘entropy’를 지정하여 엔트로피 불순도를 시용할 수 있습니다.

  엔트로피 불순도도 노드의 클래스 비율을 사용하지만 지니 불순도처럼 제곱이 아니라 밑이 2인 로그를 시용하여 곱합니다.

  예를 들어 루트 노드의 엔트로피 불순도는 다음과 같이 계산할 수 있습니다.

   

• 보통 기본값인 지니 불순도와 엔트로피 불순도가 만든 결과의 차이는 크지 않습니다. 여기서는 기본 값인 지니 불순도를 계속 사용하겠습나다.

---

가지치기

결정 트리에서 가지치기를 하는 가장 간단한 방법은 자라날 수 있는 트리의 최대 깊이를 지정히는 것입니다.
DecisionTreeClassifier 클래스의 max_depth 매개변수를 3으로 지정하여 모델을 만들어 보겠습니다.
이렇게 하면 루트 노드 아래로 최대 3개의 노드까지만 성장 할수있습니다.

# Logistic 회귀는 선형함수 가중치를 학습하기 위하여 특성의 scale을 맞춤.
# 결정 Tree는 선형함수 훈련하는 알고리즘이 아니기 때문에 특성의 scale를 조정할 필요 없음.
dt = DecisionTreeClassifier(max_depth=3, random_state=42)
dt.fit(train_scaled, train_target)

print(dt.score(train_scaled, train_target))
print(dt.score(test_scaled, test_target))

0.8454877814123533
0.8415384615384616

• 훈련 세트의 성능은 낮아졌지만, 테스트 세트의 성능은 그대로 입니다. 한번 plot_tree() 함수로 그려보겠습니다.

plt.figure(figsize=(20,15))
plot_tree(dt, filled=True, feature_names=['alcohol', 'sugar', 'pH'])
plt.show()

마지막으로 결정 트리는 어떤 특성이 가장 유용한지 나타내는 특성 중요도를 계산해 줍니다.
이 트리 의 루트 노드와 깊이 1에서 당도를 사용했기 때문에 아마도 당도(sugar)가 가장 유용한 특성 중 하 나일 것 같습니다.
특성 중요도는 결정 트리 모델의 feature_importances_ 속성에 저장되어 있습 니다. 이 값을 출력해 확인해 보죠.

# 특성 중요도 출력. 0.868로 sugar의 값이 가장 높으므로 가장 중요하게 사용되는 특성이라는걸 알수 있음
print(dt.feature_importances_)

[0.12345626 0.86862934 0.0079144 ]

• 이 값들을 확인해 보면 두번째 특성인 당도가 0.87정도로 특성중요도가 가장높네요.
• 그 다음알코올, 도수, pH 순입니다. 이 값을 모두 더하면 1이 됩니다.
• 특성 중요도는 각 노드의 정보 이득과 전체 샘플에 대한 비율을 곱한 후 특성별로 더하여 계산합니다.
• 특성 중요도를 활용하면 결정 트리 모델을 특성 선택에 활용할 수 있습니다.
• 이것이 결정 트리 알고리즘의 또 다른 장점 중 하나 입니다.

---

KeyWords

결정 트리

• 결정 트리는 예 / 아니오에 대한 질문을 이어나가면서 정답을 찾아 학습하는 알고리즘입니다. 비교적 예측과정을 이해하기 쉽고 성능도 뛰어납니다.

불순도

• 불순도는 결정 트리가 최적의 질문을 찾기 위한 기준입니다. 사이킷런은 지니 불순도와 엔트로피 불순도를 제공합니다.

정보 이득

• 정보 이득은 부모 노드와 자식 노드의 불순도 차이입니다. 결정 트리 알고리즘은 정보 이득이 최대화되도록 학습합니다.

결정 트리

• 결정 트리는 제한 없이 성장하면 훈련 세트에 과대적합 되기 쉽습니다.

가지치기

• 가지치기는 결정 트리의 성장을 제한히는 방법입니다. 사이것런의 결정 트리 알고리즘은 여러 가지 가치지기 매개변수 를 제공합니다.

특성 중요도

• 특성 중요도는 결정 트리에 시용된 특성이 불순도를 감소하는데 기여한 정도를 나타내는 값입니다. 특성 중요도를 계산할 수 있는 것이 결정 트리의 또다른 큰 장점입니다.

Pandas

• info()는 데이터프레임의 요약된 정보를 출력합니다. 인텍스와 컬럼 타입을 출력하고 널 (null)이 아닌 값의 개수, 메모리 사용량을제공합니다.
• verbose 매개변수의 기본값 True를 False로 비꾸면 각 열에 대한 정보를 출력하지 않습니다.
• describe()는데이터프레임 열의 통계 값을제공합니다. 수치형일 경우 최소, 최대, 평균, 표 준편차와사분위값등이 출력됩니다.
• 문자열 같은 객체 타입의 열은가장지주등장하는값과횟수등이출력됩니다. percentiles 매개변수에서 백분위수를 지정합니다. 기본값은 [0.25, 0.5, 0.75]입니다.

 

scikit-learn

• DecisionTreeClassifier는 결정 트리 분류 클래스입나다.
• criterion 매개변수는 불순도를 지정하며 기본값은 지니 불순도를 의미하는 ‘gini’이고 ‘entropy’를 선택하여 엔트로피 불순도를 사용할 수 있습니다.
• splitter 매개변수는 노드를 분할히는 전략을 선택합니다. 기본값은 ‘best’로 정보 이득이 최대가 되도록 분할합니다. ‘random’이면 임의로 노드를 분할합니다.
• max_depth는 트리가 성장할 최대 깊이를 지정합니다. 기본값은 None으로 리프 노드가 순수하거나 min_samples_split보다 샘플 개수가 적을 때까지 성장합니다.
• min_samples_split은 노드를 나누기 위한 최소 샘플 개수입니다. 기본값은 2입니다.
• max_features 매개변수는 최적의 분할을 위해 탐색할 특성의 개수를 지정합니다. 기본값은 None으로 모든 특성을 사용합니다.
• plot tree()는 결정 트리 모댈을 시각화합니다. 첫 번째 매개변수로 결정 트리 모델 객체를 전달합니다.
• max_depth 매개변수로 나타낼 트리의 깊이를 지정합니다. 기본값은 None으로 모든 노드 를출력합니다.
• feature_names 매개변수로 특성의 이름을 지정할 수 있습니다.
• filled 매개변수를 True로 지정하면 타깃값에 따라노드 안에 색을 채읍니다.