[ML] Random Forest (랜덤 포레스트)

이번에는 Random Forest (랜덤 포레스트) 기법에 데하여 한번 알아보겠습니다.

 

랜덤 포레스트(Random Forest)는 결정 트리의 앙상블 방법 중 하나로, 여러 개의 결정 트리를 생성하고 그 예측을 결합하여 더욱 강력하고 안정적인 모델을 만드는 방법입니다. 이 방법은 특히 분류와 회귀 문제에 효과적이며, 개별 결정 트리의 과적합 문제를 극복하고, 전체적인 예측 성능을 향상시키는 데 도움을 줍니다.

 

Random Forest (랜덤 포레스트)의 주요 특징

다양성 (Diversity)

• 랜덤 포레스트는 각각의 결정 트리가 데이터의 서로 다른 부분집합과 특성을 사용하여 학습합니다. 이는 각 트리가 독립적으로 다른 패턴을 학습하도록 하여 모델 전체의 다양성을 높입니다.
• 이러한 접근 방식은 트리 간의 상관관계를 줄이며, 결과적으로 각 트리의 고유한 관점이 전체 모델에 기여합니다.

앙상블 방법 (Ensemble Method)

• 랜덤 포레스트는 앙상블 학습 방법의 일종으로, 여러 개의 결정 트리를 결합하여 하나의 모델을 구성합니다.
• 각 트리의 예측을 평균내거나, 다수결을 통해 최종 결정을 내립니다. 이 과정은 개별 모델의 오류를 상쇄시키고, 전체 모델의 정확도와 신뢰도를 향상시키는 효과가 있습니다.

과적합 방지 (Prevention of Overfitting)

• 전통적인 결정 트리는 깊이가 깊어질수록 훈련 데이터에 과적합되기 쉽습니다. 그러나 랜덤 포레스트에서는 각 트리가 데이터의 일부만을 사용하여 학습하므로, 과적합의 위험이 크게 감소합니다.
• 또한, 랜덤 포레스트는 트리의 생성 과정에서 특성의 무작위 선택을 통해 분산을 높이고, 과적합을 줄이는 효과가 있습니다.

---

Random Foerest (랜덤 포레스트)의 기본 원리

Random Forest의 기본 원리는 어떠한 것들이 있을까요?

 

배깅(Bootstrap Aggregating)

• 각 트리는 원본 데이터셋에서 중복을 허용하여 무작위로 선택된 샘플을 기반으로 합니다. 이렇게 생성된 샘플을 '부트스트랩 샘플'이라고 하며, 각 트리는 서로 다른 부트스트랩 샘플로 학습됩니다.
• 이 과정은 각 트리가 서로 다른 데이터 패턴을 학습하게 하여, 모델의 다양성을 높이고 과적합을 줄입니다.

랜덤 특성 선택

• 결정 트리를 구성할 때 모든 특성을 고려하지 않고, 무작위로 선택된 부분집합의 특성만을 사용하여 분할을 결정합니다.
• 이는 트리 간의 상관성을 줄이며, 각 트리가 데이터의 다른 측면을 학습하게 합니다.

트리의 학습

• 각 트리는 독립적으로 학습되며, 분할 기준은 정보 이득이나 지니 불순도와 같은 기준을 사용하여 결정됩니다.
• 트리의 개수가 많을수록 전체 모델의 정확도는 일반적으로 향상되지만, 계산 비용과 메모리 사용도 증가합니다.

결합을 통한 예측

• 분류 문제에서는 생성된 모든 트리의 예측 결과(클래스 레이블)를 모아 다수결 원칙에 따라 최종 예측을 결정합니다.
• 회귀 문제에서는 모든 트리의 예측값의 평균을 계산하여 최종 예측값을 도출합니다.

---

Random Foerest (랜덤 포레스트)의 장점, 단점

장점

1. 높은 예측 성능: 여러 결정 트리의 결과를 결합하여 단일 결정 트리보다 일반적으로 더 높은 정확도와 안정성을 제공합니다.
2. 과적합 방지: 각 트리가 데이터의 서로 다른 부분집합을 사용하여 학습하므로, 개별 트리에서 발생할 수 있는 과적합 문제를 크게 감소시킵니다.
3. 변수 중요도 평가: 랜덤 포레스트는 각 특성의 중요도를 측정할 수 있어, 어떤 변수가 예측에 가장 영향력이 큰지 파악할 수 있습니다.
4. 자동 특성 선택: 최적의 특성을 자동으로 선택하여 모델을 구성함으로써 특성 선택 과정을 단순화합니다.
5. 다양한 데이터 유형 처리: 수치형 및 범주형 데이터를 모두 처리할 수 있으며, 다른 많은 기계학습 알고리즘과 비교할 때 데이터 전처리 요구 사항이 상대적으로 적습니다.

단점

1. 모델 해석의 어려움: 개별 결정 트리는 해석이 비교적 용이하지만, 수백 또는 수천 개의 트리로 구성된 랜덤 포레스트 모델 전체를 해석하는 것은 매우 복잡할 수 있습니다.
2. 계산 비용: 많은 수의 트리를 학습해야 하기 때문에, 특히 큰 데이터 세트에서는 훈련 시간이 길고 많은 계산 자원을 요구할 수 있습니다.
3. 메모리 사용: 대규모 랜덤 포레스트 모델은 상당한 양의 메모리를 소비할 수 있으며, 이는 특히 제한된 자원을 가진 시스템에서 문제가 될 수 있습니다.
4. 실시간 예측: 훈련은 한 번만 이루어지지만, 예측을 위해 모든 트리를 통과해야 하므로 실시간 응답 시나리오에서는 상대적으로 느릴 수 있습니다.

---

Random Forest Example Code

# 랜덤 포레스트 예제

# 필요한 라이브러리 임포트
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, ConfusionMatrixDisplay
import matplotlib.pyplot as plt

 

 

# 유방암 데이터셋 로드
cancer = load_breast_cancer()
X, y = cancer.data, cancer.target

# 데이터셋을 학습 세트와 테스트 세트로 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 랜덤 포레스트 모델 학습
rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)

# 예측 및 평가
y_pred = rf.predict(X_test)
print(classification_report(y_test, y_pred))

              precision    recall  f1-score   support

           0       0.98      0.93      0.95        43
           1       0.96      0.99      0.97        71

    accuracy                           0.96       114
   macro avg       0.97      0.96      0.96       114
weighted avg       0.97      0.96      0.96       114

# 혼동 행렬 시각화
ConfusionMatrixDisplay.from_estimator(rf, X_test, y_test)
plt.title("Random Forest Confusion Matrix")
plt.show()