[ML] Decision Tree (결정 트리)

이번에는 Decision Tree (결정 트리)에 데하여 알아보겠습니다.

 

결정트리(Decision Tree)는 분류와 회귀 문제에 모두 사용될 수 있는 지도학습 알고리즘입니다.

이 모델은 데이터를 트리 구조로 분할하여 예측을 수행하며, 각 내부 노드는 특정 조건에 따른 데이터 분할을 나타내고, 가지(branch)는 그 조건의 결과를 나타내며, 최종 리프 노드(leaf node)는 예측 값을 제공합니다.

Decision Tree의 주요 특징

• 직관성: 결정 트리는 시각적으로 표현할 수 있어 이해가 쉽습니다.
• 비모수적 방법: 데이터의 분포에 대해 특정 가정을 하지 않으므로 다양한 데이터셋에 적용 가능합니다.
• 해석 용이성: 모델이 어떻게 결정을 내렸는지 쉽게 해석할 수 있습니다.

---

Decision Tree의 기본 원리

노드와 가지

• 루트 노드 (Root Node): 트리의 최상단에 위치하며 전체 데이터를 포함합니다.
• 내부 노드 (Internal Node): 각 노드는 특정 특성의 조건을 나타냅니다.
• 리프 노드 (Leaf Node): 최종적으로 예측 값을 나타냅니다.
• 가지 (Branch): 노드 간의 연결로, 조건에 따른 결과를 나타냅니다.

분할

• 데이터는 각 노드에서 특정 특성을 기준으로 분할됩니다.
• 이때 사용되는 기준은 정보 이득(Information Gain) 또는 지니 불순도(Gini Impurity) 등이 있습니다.

---

Decision Tree - 분할 기준

Decision Tree (결정 트리)의 분할 기준은 정보이득(Information Gain)에 따라서 결정됩니다.

Information Gain (정보 이득)

정보이득은 분할 전후의 엔트로피(Entropy) 차이를 기반으로 결정됩니다.

엔트로피는 데이터의 불확실성을 나타내며, 클래스가 얼마나 혼합되어 있는지를 측정합니다.

특정 특성에 대해 정보 이득이 최대가 되는 분할을 선택합니다.

• 여기서 D는 데이터셋, pi는 클래스 i의 확률, c는 클래스의 수 입니다.

• A는 특성, D는 특성 A값의 v에 데한 데이터 부분 집합 입니다.

순서

1. 초기 데이터셋 D 에서 엔트로피 H(D)를 계산합니다.

2. 각 특성 에 대해 가능한 모든 값에 대해 데이터셋을 분할하고, 분할된 각 부분집합의 엔트로피를 계산합니다.

3. 각 분할의 정보 이득 IG(D, A)를 계산하고, 정보 이득이 최대가 되는 특성을 선택하여 분할합니다.

---

지니 불순도(Gini Impurity)

지니 불순도는 노드가 한 클래스에 속할 확률을 측정하여 불순도를 계산하는 지표입니다.

지니 불순도 감소가 최대가 되는 특성으로 분할을 결정합니다.

• D는 데이터셋, pi는 클래스 i의 확률, c는 클래스 수 입니다.

순서

1. 초기 데이터셋 D 에서 지니 불순도 G(D)를 계산합니다.

2. 각 특성 에 대해 가능한 모든 값에 대해 데이터셋을 분할하고, 분할된 각 부분집합의 지니 불순도를 계산합니다.

3. 각 분할의 지니 불순도 감소 G 를 계산하고, 지니 불순도 감소가 최대가 되는 특성 를 선택하여 분할합니다.

---

Decision Tree - 결정트리의 장,단점

결정트리의 장점

• 직관적이고 해석 용이: 트리 구조로 시각화하여 쉽게 이해할 수 있습니다.
• 데이터 전처리 최소화: 특성 스케일링이나 정규화가 필요하지 않습니다.
• 비모수적 방법: 데이터 분포에 대한 가정이 필요 없습니다.
• 다양한 데이터 처리: 범주형 및 연속형 데이터를 모두 처리할 수 있습니다.

결정트리의 단점

• 과적합: 트리가 깊어질수록 훈련 데이터에 과적합할 가능성이 큽니다.
• 변동성: 데이터의 작은 변화에도 트리 구조가 크게 변할 수 있습니다.

---

Decision Tree Example Code

# 필요한 라이브러리 임포트
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, plot_tree
from sklearn.metrics import classification_report, ConfusionMatrixDisplay
import matplotlib.pyplot as plt

 

# 와인 데이터셋 로드
wine = load_wine()
X, y = wine.data, wine.target

# 데이터셋을 학습 세트와 테스트 세트로 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 결정 트리 모델 학습
tree = DecisionTreeClassifier(random_state=42)
tree.fit(X_train, y_train)

# 예측 및 평가
y_pred = tree.predict(X_test)
print(classification_report(y_test, y_pred))

              precision    recall  f1-score   support

           0       0.93      0.93      0.93        14
           1       0.93      1.00      0.97        14
           2       1.00      0.88      0.93         8

    accuracy                           0.94        36
   macro avg       0.95      0.93      0.94        36
weighted avg       0.95      0.94      0.94        36

# 혼동 행렬 시각화
ConfusionMatrixDisplay.from_estimator(tree, X_test, y_test)
plt.title("Decision Tree Confusion Matrix")
plt.show()

# 결정 트리 구조 시각화
plt.figure(figsize=(20,10))
plot_tree(tree, filled=True, feature_names=wine.feature_names, class_names=wine.target_names)
plt.title("Decision Tree Structure")
plt.show()