Gradient Boosting

[혼공머신] Tree's Ensemble - Gradient Boosting (그레이언트 부스팅)

Gradient Boosting (그레이언트 부스팅)그레이디언트 부스팅(Gradient Boosting)은 얕은 결정 트리들을 사용하여 이전 트리의 오차를 보완하는 방식으로 앙상블을 구성하는 기법입니다.사이킷런의 GradientBoostingClassifier는 기본적으로 깊이가 3인 결정 트리를 100개 사용합니다. 얕은 결정 트리를 사용하기 때문에 과대적합에 강하고, 일반적으로 높은 일반화 성능을 기대할 수 있습니다.'그레이디언트'라는 이름에서 알 수 있듯이, 이 방법은 경사 하강법을 사용하여 트리를 앙상블에 추가합니다. 분류 문제에서는 로지스틱 손실 함수를 사용하고, 회귀 문제에서는 평균 제곱 오차 함수를 사용합니다.경사 하강법의 원리처럼, 그레이디언트 부스팅은 손실 함수의 최소점을 찾기 위해 모델..