[혼공머신] Tree's Ensemble - Extra Tree (엑스트라 트리)

Extra Trees (엑스트라 트리)

엑스트라 트리(Extra Trees)는 랜덤 포레스트와 매우 유사하게 동작하며, 기본적으로 100개의 결정 트리를 훈련합니다.

• 이 모델은 랜덤 포레스트와 마찬가지로 대부분의 결정 트리 매개변수를 지원하고, 일부 특성을 랜덤하게 선택하여 노드를 분할하는 데 사용합니다.
• 랜덤 포레스트와 엑스트라 트리의 주요 차이점은 부트스트랩 샘플을 사용하지 않는다는 점입니다.
• 즉, 각 결정 트리를 만들 때 전체 훈련 세트를 사용합니다. 대신, 노드를 분할할 때 가장 좋은 분할을 찾지 않고 무작위로 분할합니다.
• 사실, 이전에 DecisionTreeClassifier의 spliter 매개변수를 'random'으로 설정한 것이 바로 엑스트라 트리에서 사용하는 방식입니다.
• 각 결정 트리에서 특성을 무작위로 분할하므로 개별 트리의 성능은 떨어질 수 있습니다.
• 그러나 여러 트리를 앙상블하면 과대적합을 막고 검증 세트의 점수를 높일 수 있습니다.
• 사이킷런에서 엑스트라 트리는 ExtraTreesClassifier 클래스로 제공됩니다.

from sklearn.ensemble import ExtraTreesClassifier

et = ExtraTreesClassifier(n_jobs=-1, random_state=42)
scores = cross_validate(et, train_input, train_target, return_train_score=True, n_jobs=-1)

print(np.mean(scores['train_score']), np.mean(scores['test_score']))

# 0.9974503966084433 0.8887848893166506

• 엑스트라 트리 모델의 교차 검증 점수를 확인한 결과, 랜덤 포레스트와 비슷한 성능을 보였습니다.
• 이 예제에서는 특성이 많지 않아 두 모델 간의 차이가 크지 않았습니다.
• 일반적으로 엑스트라 트리는 무작위성이 더 크기 때문에 랜덤 포레스트보다 더 많은 결정 트리를 훈련해야 할 수 있습니다.
• 하지만 노드를 무작위로 분할하기 때문에 계산 속도가 더 빠르다는 장점이 있습니다.

엑스트라 트리도 랜덤 포레스트와 마찬가지로 특성 중요도를 제공합니다.
순서는 [알코올 도수, 당도, pH]인데, 결과를 보면 엑스트라 트리도 결정 트리보다 당도에 대한 의존성이 작습니다.

et.fit(train_input, train_target)
print(et.feature_importances_)

# [0.20183568 0.52242907 0.27573525]

• 엑스트라 트리의 회귀 버전은 ExtraTreesRegressor 클래스 입니다.

---

Summary

엑스트라 트리 (Extra Trees)

• 엑스트라 트리: 랜덤 포레스트와 유사하지만, 부트스트랩 샘플을 사용하지 않고 노드를 무작위로 분할하여 과대적합을 감소시킵니다.
• 주요 매개변수:
  • n_estimators, criterion, max_depth, min_samples_split, max_features: 랜덤 포레스트와 동일
  • bootstrap: 부트스트랩 샘플 사용 여부 (기본값: False)
  • oob_score: OOB 샘플을 사용하여 모델 평가 여부 (기본값: False)
  • n_jobs: 병렬 실행에 사용할 CPU 코어 수 (기본값: 1)