[혼공머신] Tree's Ensemble - Gradient Boosting (그레이언트 부스팅)

Gradient Boosting (그레이언트 부스팅)

그레이디언트 부스팅(Gradient Boosting)은 얕은 결정 트리들을 사용하여 이전 트리의 오차를 보완하는 방식으로 앙상블을 구성하는 기법입니다.

• 사이킷런의 GradientBoostingClassifier는 기본적으로 깊이가 3인 결정 트리를 100개 사용합니다. 얕은 결정 트리를 사용하기 때문에 과대적합에 강하고, 일반적으로 높은 일반화 성능을 기대할 수 있습니다.
• '그레이디언트'라는 이름에서 알 수 있듯이, 이 방법은 경사 하강법을 사용하여 트리를 앙상블에 추가합니다. 분류 문제에서는 로지스틱 손실 함수를 사용하고, 회귀 문제에서는 평균 제곱 오차 함수를 사용합니다.
• 경사 하강법의 원리처럼, 그레이디언트 부스팅은 손실 함수의 최소점을 찾기 위해 모델의 가중치와 절편을 조금씩 조정합니다. 이 과정에서 깊이가 얕은 트리를 계속 추가하며 최적의 모델을 향해 나아갑니다.
• 학습률(learning rate) 매개변수를 사용하여 학습 속도를 조절할 수 있으며, 이는 모델이 손실 함수의 최소점에 천천히 접근하도록 합니다.
• 이제 사이킷런의 GradientBoostingClassifier를 사용하여 데이터셋의 교차 검증 점수를 확인해보겠습니다.

from sklearn.ensemble import GradientBoostingClassifier

# GradientBoostingClassifier 객체 생성. random_state를 설정하여 결과의 재현성을 보장.
gb = GradientBoostingClassifier(random_state=42)

# cross_validate 함수를 사용하여 교차 검증 수행.
# train_input과 train_target을 사용하여 모델을 평가하고, 훈련 점수와 검증 점수를 반환.
scores = cross_validate(gb, train_input, train_target, return_train_score=True, n_jobs=-1)

# 훈련 세트와 검증 세트의 평균 점수를 계산하여 출력
print(np.mean(scores['train_score']), np.mean(scores['test_score']))

# 0.8881086892152563 0.8720430147331015

• 보면, Overfitting(과대적합)이 되지 않는다는 점을 볼 수 있습니다.
• 그레이디언트 부스팅(Gradient Boosting)은 결정 트리의 개수를 늘려도 과대적합에 강한 특성을 보입니다.
• 학습률을 증가시키고 트리의 개수를 늘리면 성능이 더욱 향상될 수 있습니다.

gb = GradientBoostingClassifier(n_estimators=500, learning_rate=0.2, random_state=42)
scores = cross_validate(gb, train_input, train_target, return_train_score=True, n_jobs=-1)

print(np.mean(scores['train_score']), np.mean(scores['test_score']))

# 0.9464595437171814 0.8780082549788999

• 예를 들어, 결정 트리의 개수를 500개로 늘려도 과대적합이 잘 억제됩니다.
• 이 모델의 학습률(learning_rate) 기본값은 0.1입니다.
• Gradient Boosting(그레이디언트 부스팅) 역시 특성 중요도를 제공합니다.
• 결과를 보면, 그레이디언트 부스팅은 랜덤 포레스트보다 특정 특성(예: 당도)에 더 집중하는 경향이 있습니다.

gb.fit(train_input, train_target)
print(gb.feature_importances_)

# [0.15872278 0.68010884 0.16116839]

• subsample이라는 매개변수가 있습니다.
• 이는 트리 훈련에 사용할 훈련 세트의 비율을 정하는 매개변수로, 기본값은 1.0으로 전체 훈련 세트를 사용합니다.
• 그러나 subsample 값이 1보다 작으면 훈련 세트의 일부만 사용하게 됩니다.
• 이는 마치 확률적 경사 하강법이나 미니배치 경사 하강법에서 일부 샘플을 무작위로 선택해 학습하는 것과 유사합니다.
• 일반적으로 그레이디언트 부스팅은 랜덤 포레스트보다 약간 더 높은 성능을 제공합니다.
• 하지만 순차적으로 트리를 추가하기 때문에 훈련 속도가 느립니다.
• 따라서 GradientBoostingClassifier에는 n_jobs 매개변수가 없습니다. 그레이디언트 부스팅의 회귀 버전은 GradientBoostingRegressor입니다.
• 그레이디언트 부스팅의 속도와 성능을 더욱 개선한 모델이 바로 히스토그램 기반 그레이디언트 부스팅입니다.

---

Histogram-Based Gradient Boosting (히스토그램 기반 그레이디언트 부스팅)

히스토그램 기반 그레이디언트 부스팅(Histogram-based Gradient Boosting)은 정형 데이터를 다루는 머신러닝 알고리즘 중에서
매우 인기 있는 알고리즘입니다.

• 이 방법은 먼저 입력 특성을 256개의 구간으로 나누어, 노드를 분할할 때 최적의 분할을 매우 빠르게 찾을 수 있게 합니다.
• 또한, 히스토그램 기반 그레이디언트 부스팅은 256개의 구간 중 하나를 떼어놓아 누락된 값을 처리할 수 있습니다. 따라서 입력 데이터에 누락된 값이 있어도 이를 별도로 전처리할 필요가 없습니다.
• 사이킷런에서는 HistGradientBoostingClassifier 클래스를 통해 이 알고리즘을 사용할 수 있습니다.
• 기본 매개변수 설정에서 안정적인 성능을 제공하며, 성능을 더욱 향상시키려면 max_iter 매개변수를 조정하여 부스팅 반복 횟수를 늘릴 수 있습니다.

# 사이킷런 1.0 버전 아래에서는 HistGradientBoostingClassifier를 사용하기 위해 
# 다음 라인의 주석을 해제하고 실행해야 합니다.
# from sklearn.experimental import enable_hist_gradient_boosting

from sklearn.ensemble import HistGradientBoostingClassifier  # HistGradientBoostingClassifier 불러오기

# HistGradientBoostingClassifier 객체 생성. random_state를 설정하여 결과의 재현성을 보장.
hgb = HistGradientBoostingClassifier(random_state=42)

# cross_validate 함수를 사용하여 교차 검증 수행.
# train_input과 train_target을 사용하여 모델을 평가하고, 훈련 점수와 검증 점수를 반환.
scores = cross_validate(hgb, train_input, train_target, return_train_score=True, n_jobs=-1)

# 훈련 세트와 검증 세트의 평균 점수를 계산하여 출력
print(np.mean(scores['train_score']), np.mean(scores['test_score']))

# 0.9321723946453317 0.8801241948619236

 n_jobs=-1: 모든 CPU 코어를 사용합니다.

• Overfitting(과대적합)을 잘억제하면서 그레이디언트 부스팅 보다 조금더 높은 성능을 제공합니다.
• 한번 특성중요도를 확인해보겠습니다.

# HistGradientBoostingClassifier 모델을 훈련 데이터에 맞추어 훈련
hgb.fit(train_input, train_target)  

# 랜덤 포레스트 모델의 특성 중요도를 출력
print(rf.feature_importances_)

# [0.23167441 0.50039841 0.26792718]

• 그레이디언트 부스팅은 당도에 좀 더 집중하는 경향이 있었지만, 히스토그램 기반 그레이디언트 부스팅은 랜덤 포레스트와 비슷하게 다양한 특성에 고르게 관심을 보입니다.
• 이는 히스토그램 기반 그레이디언트 부스팅이 다양한 특성을 균형 있게 평가하는 경향이 있음을 시사합니다.
• 이제 HistGradientBoostingClassifier를 사용하여 최종적으로 테스트 세트에서의 성능을 확인해보겠습니다.

hgb.score(test_input, test_target)

# 0.8723076923076923

• 테스트 세트에서 약 87%의 정확도를 얻었습니다.
• 실제 상황에서는 성능이 이보다 약간 낮을 수 있습니다. 앙상블 모델이 단일 결정 트리보다 훨씬 우수한 결과를 보여주는 것을 확인할 수 있었습니다. 참고로, 이전의 랜덤 서치에서는 테스트 정확도가 86%였습니다.
• 히스토그램 기반 그레이디언트 부스팅의 회귀 버전은 HistGradientBoostingRegressor 클래스로 구현되어 있으며, 사이킷런의 비교적 새로운 기능입니다.
• 사이킷런 외에도 여러 라이브러리가 히스토그램 기반 그레이디언트 부스팅 알고리즘을 구현하고 있습니다. 그 중 대표적인 라이브러리는 XGBoost입니다.

---

XGBoost

XGBoost는 다양한 부스팅 알고리즘을 지원하며, tree_method 매개변수를 'hist'로 설정하면 히스토그램 기반 그레이디언트 부스팅을 사용할 수 있습니다.

from xgboost import XGBClassifier  # XGBoost 분류기를 임포트

# XGBClassifier 객체 생성. tree_method를 'hist'로 설정하여 히스토그램 기반의 트리 방법을 사용.
# random_state를 설정하여 결과의 재현성을 보장.
xgb = XGBClassifier(tree_method='hist', random_state=42)

# cross_validate 함수를 사용하여 교차 검증 수행.
# train_input과 train_target을 사용하여 모델을 평가하고, 훈련 점수와 검증 점수를 반환.
scores = cross_validate(xgb, train_input, train_target, return_train_score=True, n_jobs=-1)

# 훈련 세트와 검증 세트의 평균 점수를 계산하여 출력
print(np.mean(scores['train_score']), np.mean(scores['test_score']))

# 0.9558403027491312 0.8782000074035686

---

LightGBM

LightGBM은 마이크로소프트에서 개발한 또 다른 히스토그램 기반 그레이디언트 부스팅 라이브러리로, 빠르고 효율적인 성능 덕분에 최근 많은 인기를 얻고 있습니다. LightGBM은 최신 기술을 적용하여 대규모 데이터셋에 대해 빠른 학습 속도와 높은 성능을 자랑합니다.

• LightGBM은 코랩에서 이미 설치되어 있어 바로 사용할 수 있으며, 사이킷런의 cross_validate() 함수와 함께 사용할 수도 있습니다.

from lightgbm import LGBMClassifier  # LightGBM 분류기를 임포트

# LGBMClassifier 객체 생성. random_state를 설정하여 결과의 재현성을 보장.
lgb = LGBMClassifier(random_state=42)

# cross_validate 함수를 사용하여 교차 검증 수행.
# train_input과 train_target을 사용하여 모델을 평가하고, 훈련 점수와 검증 점수를 반환.
scores = cross_validate(lgb, train_input, train_target, return_train_score=True, n_jobs=-1)

# 훈련 세트와 검증 세트의 평균 점수를 계산하여 출력
print(np.mean(scores['train_score']), np.mean(scores['test_score']))

# 0.935828414851749 0.8801251203079884

• 또한 Scikit-learn의 히스토그램 기반 그레이디언 부스팅이 LightGBM 에서 영향을 많이 받았습니다.

---

Summary

그레이디언트 부스팅 (Gradient Boosting)

• 그레이디언트 부스팅: 손실 함수를 최소화하기 위해 결정을 나무를 연속적으로 추가하여 앙상블합니다. 학습 속도가 다소 느릴 수 있지만, 성능이 우수합니다.
• 주요 매개변수:
  • loss: 손실 함수 (deviance 또는 exponential)
  • learning_rate: 트리가 앙상블에 기여하는 정도 (기본값: 0.1)
  • n_estimators: 부스팅 단계를 수행하는 트리의 개수 (기본값: 100)
  • subsample: 훈련 세트의 샘플 비율 (기본값: 1.0)
  • max_depth: 개별 트리의 최대 깊이 (기본값: 3)

히스토그램 기반 그레이디언트 부스팅 (Histogram-based Gradient Boosting)

• 히스토그램 기반 그레이디언트 부스팅: 입력 특성을 구간으로 나누어 분할을 빠르게 찾으며, 누락된 값을 별도로 처리할 필요가 없습니다.
• 주요 매개변수:
  • learning_rate: 학습률 (기본값: 0.1)
  • max_iter: 부스팅 단계를 수행하는 트리의 개수 (기본값: 100)
  • max_bins: 입력 데이터를 나눌 구간의 개수 (기본값: 255)

라이브러리

• XGBoost: 다양한 부스팅 알고리즘을 지원하며, tree_method 매개변수를 'hist'로 설정하면 히스토그램 기반 그레이디언트 부스팅을 사용할 수 있습니다.
• LightGBM: 빠르고 최신 기술을 적용한 히스토그램 기반 그레이디언트 부스팅 라이브러리로, 대규모 데이터셋에 대해 높은 성능을 제공합니다.