[혼공머신] Tree's Ensemble - Random Forest (랜덤 포레스트)

정형 데이터와 비정형 데이터

랜덤 포레스트에 대해 배우기 전에 우리가 다루었던 데이터를 되돌아보겠습니다.

• 길이, 높이, 무게 등의 데이터를 사용했습니다. 이 데이터는 CSV 파일에 가지런히 정리되어 있었죠.
• 이번에도 사용한 와인 데이터도 CSV 파일이었습니다.

# CSV 파일 예시

length, height, width
8.4, 2.11, 1.41
13.7, 3.53, 2.0

• 이런 형태의 데이터를 정형 데이터(structured data)라고 부릅니다. 쉽게 말해, 어떤 구조로 되어있다는 뜻이죠.
  • 이런 데이터는 CSV나 데이터베이스(DataBase), 혹은 엑셀(Excel)에 저장하기 쉽습니다.
  • 온라인 쇼핑몰에 진열된 상품과 우리가 구매한 쇼핑 정보는 모두 데이터베이스에 저장되는 정형 데이터에 속합니다.
  • 사실 프로그래머가 다루는 대부분의 데이터가 정형 데이터입니다.
• 그리고 정형 데이터와 반대되는 데이터를 비정형 데이터(unstructured data)라고 부릅니다.
  • 비정형 데이터는 데이터베이스나 엑셀로 표현하기 어려운 것들입니다.
  • 우리 주변에서 찾아보면, 책의 글과 같은 텍스트 데이터, 디지털 카메라로 찍은 사진, 핸드폰으로 듣는 디지털 음악 등이 있습니다.

텍스트나 사진을 데이터베이스에 저장가능?
비정형 데이터도 저장할 수 있으며, 많은 데이터베이스가 비정형 데이터를 효과적으로 관리할 수 있도록 발전해왔습니다.
특히 NoSQL 데이터베이스는 엑셀이나 CSV에 담기 어려운 텍스트 데이터나 JSON 형식의 데이터를 저장하는 데 매우 유용합니다.

NoSQL 데이터베이스는 다음과 같은 특징이 있습니다:
유연한 데이터 모델: 스키마가 고정되어 있지 않기 때문에 다양한 형태의 데이터를 쉽게 저장할 수 있습니다.
확장성: 수평적 확장이 가능하여 대량의 데이터를 효율적으로 처리할 수 있습니다.
다양한 데이터 형식 지원: 문서, 키-값, 그래프 등 다양한 데이터 구조를 지원하여 비정형 데이터를 효과적으로 저장할 수 있습니다.

 

• 정형 데이터에 대한 신뢰할 수 있는 성능을 보여주는 알고리즘으로 앙상블 학습(ensemble learning)이 있습니다.
• 이 알고리즘은 주로 결정 트리를 기반으로 하여 여러 모델을 조합하여 더 나은 예측 성능을 제공합니다.
• 앙상블 학습의 대표적인 방법으로는 배깅(Bagging), 부스팅(Boosting), 스태킹(Stacking) 등이 있습니다.
• 이 방법들은 각각의 기본 모델들이 가진 약점을 보완하여 전체적인 성능을 향상시킵니다.

 

• 반면, 비정형 데이터에 대해서는 신경망 알고리즘이 효과적입니다.
• 비정형 데이터는 규칙성을 찾기 어려워 전통적인 머신러닝 방법으로 모델을 만들기 까다롭지만, 신경망 알고리즘은 복잡한 패턴을 학습하고, 이미지 인식 및 자연어 처리와 같은 분야에서 뛰어난 성능을 발휘합니다.
• 신경망은 여러 층의 뉴런으로 구성되어 있으며, 각 층이 데이터를 점진적으로 변환하여 최종 출력을 생성합니다. 최근의 발전 덕분에 신경망은 비정형 데이터를 처리하는 데 있어 매우 강력한 도구가 되었습니다.

---

Random Forest (랜덤 포레스트)

랜덤 포레스트(Random Forest)는 앙상블 학습의 대표적인 알고리즘으로, 안정적인 성능 덕분에 널리 사용되고 있습니다.
이 알고리즘은 여러 개의 결정 트리를 랜덤하게 생성하고, 각 트리의 예측을 조합하여 최종 예측을 만듭니다.

• 그러면 Random Forest(랜덤 포레스트)가 어떻게 숲을 구성하는지 한번 보겠습니다.

Boostrap Sampling (부트스트랩 샘플링)

• 랜덤 포레스트는 각 트리를 훈련하기 위한 데이터를 랜덤하게 생성합니다.
• 이때 사용하는 방법이 부트스트랩 샘플링입니다. 입력한 훈련 데이터에서 랜덤하게 샘플을 추출하며, 중복된 샘플이 포함될 수 있습니다.
• 예를 들어, 1,000개의 샘플 중에서 100개를 뽑는 경우, 한 번 뽑은 샘플을 다시 가방에 넣고 계속해서 샘플을 뽑습니다.
• 이렇게 만들어진 샘플을 부트스트랩 샘플이라고 합니다. 또한 1000개의 샘플에서 중복해서 1000개의 샘플을 뽑기 때문에 부트스트랩 샘플은 훈련세트와 크기가 같습니다.

부스트트랩이 무엇인가요?
부트스트랩 방식이란 데이터 세트에서 중복을 허용하여 샘플을 추출하는 방식을 말합니다. 예를 들어, 가방에 1,000개의 샘플이 있다고 할 때, 부트스트랩 방식은 먼저 한 개의 샘플을 뽑고 이를 다시 가방에 넣어 다음 샘플을 뽑는 방식을 반복합니다.
이렇게 추출된 샘플들을 부트스트랩 샘플이라고 합니다.

 

특성 선택

• 각 노드를 분할할 때 전체 특성 중 일부를 무작위로 선택한 후, 이 중에서 최선의 분할을 찾습니다. 기본적으로 RandomForestClassifier는 전체 특성 개수의 제곱근만큼 특성을 선택합니다. 예를 들어, 4개의 특성이 있을 경우 노드마다 2개를 랜덤하게 선택하여 사용합니다.
• 반면, RandomForestRegressor는 전체 특성을 사용합니다.

• Scikit-learn의 RandomForest는 기본적으로 100개의 Decision Tree(결정 트리)를 이러한 방식으로 훈련합니다.
• Classification (분류)인 경우엔 각 트리의 클래스별 확률을 평균하여 가장 높은 확률을 가진 클래스를 예측으로 삼습니다.
• Regression (회귀)인 경우는 단순히 각 트리의 예측을 평균화 합니다.

Classification(분류): 각 트리의 클래스별 확률을 평균하여 가장 높은 확률을 가진 클래스를 예측합니다.
Regression(회귀): 단순히 각 트리의 예측을 평균하여 최종 예측 값을 제공합니다.

• 랜덤 포레스트는 랜덤하게 선택한 샘플과 특성을 사용하기 때문에 훈련 세트에 과대적합되는 것을 방지하고, 검증 세트와 테스트 세트에서 안정적인 성능을 제공합니다. 기본적인 매개변수 설정만으로도 좋은 결과를 얻는 경우가 많습니다.
• 이제 사이킷런의 RandomForestClassifier 클래스를 사용하여 화이트 와인을 분류하는 문제를 살펴보겠습니다.
• 먼저, 와인 데이터셋을 판다스(Pandas)로 불러오고 훈련 세트와 테스트 세트로 나누는 과정입니다.

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split

wine = pd.read_csv('https://bit.ly/wine_csv_data')

data = wine[['alcohol', 'sugar', 'pH']].to_numpy()
target = wine['class'].to_numpy()

train_input, test_input, train_target, test_target = train_test_split(
	data, target, test_size=0.2, random_state=42)

• 교차 검증을 수행할 때 cross_validate() 함수를 사용하여 모델의 성능을 평가할 수 있습니다.
• RandomForestClassifier는 기본적으로 100개의 결정 트리를 사용하며, n_jobs 매개변수를 1로 설정하여 모든 CPU 코어를 활용해 병렬 처리를 수행할 수 있습니다.
• cross_validate() 함수의 n_jobs 매개변수를 1로 설정하여 최대한 병렬로 교차 검증을 수행합니다.
• 또한, return_train_score 매개변수를 True로 설정하면 검증 점수뿐만 아니라 훈련 세트에 대한 점수도 반환됩니다.
• 이를 통해 훈련 세트와 검증 세트의 점수를 비교하여 과대적합 여부를 파악할 수 있습니다. (return_train_score 매개변수의 기본값은 False입니다).

from sklearn.model_selection import cross_validate
from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(n_jobs=-1, random_state=42)
scores = cross_validate(rf, train_input, train_target, return_train_score=True, n_jobs=-1)

print(np.mean(scores['train_score']), np.mean(scores['test_score']))

# 0.9973541965122431 0.8905151032797809

• 출력된 결과를 보면 훈련세트에 다소 Overfitting(과대적합)된 것 같습니다.

 

• 랜덤 포레스트는 여러 결정 트리의 앙상블 모델로, 각 결정 트리 모델이 제공하는 주요 매개변수들을 제공합니다.
• 예를 들어, criterion, max_depth, max_features, min_samples_split, min_impurity_decrease, min_samples_leaf 등이 있습니다.
• 또한, 랜덤 포레스트는 결정 트리의 중요한 장점 중 하나인 특성 중요도를 계산합니다.
• 랜덤 포레스트의 특성 중요도는 각 결정 트리의 특성 중요도를 종합한 것입니다.
• 이제 앞서 언급한 랜덤 포레스트 모델을 훈련 세트에 훈련시키고, 해당 모델의 특성 중요도를 출력해보겠습니다.
• 특성 중요도를 통해 모델이 각 특성에 얼마나 의존하고 있는지 알 수 있습니다.

rf.fit(train_input, train_target)
print(rf.feature_importances_)

# [0.23167441 0.50039841 0.26792718]

 

• 특성 중요도 분석 결과, 두 번째 특성인 당도의 중요도가 감소하고 알코올 도수와 pH의 중요도가 약간 상승했습니다.
• 이는 랜덤 포레스트가 일부 특성을 랜덤하게 선택하여 결정 트리를 훈련하기 때문입니다.
• 이러한 방식은 특정 특성에 과도하게 집중하는 것을 방지하고, 더 많은 특성이 모델 훈련에 기여할 기회를 제공합니다.
• 결과적으로, 과대적합을 줄이고 모델의 일반화 성능을 높이는 데 도움이 됩니다.
• 랜덤 포레스트 모델에서 각 특성의 중요도가 변경된 이유는, 모델이 결정 트리를 훈련할 때 일부 특성을 랜덤하게 선택하기 때문입니다. 이를 통해 한 특성에 과도하게 집중하지 않고 여러 특성이 훈련에 기여할 수 있어 과대적합을 줄이고 모델의 일반화 성능을 높입니다.
• 랜덤 포레스트의 또 다른 유용한 기능은 OOB (Out-Of-Bag) 점수입니다.
• 부트스트랩 샘플링 과정에서 훈련에 포함되지 않은 샘플을 OOB 샘플이라 부르며, 이를 사용해 모델을 평가할 수 있습니다.
• OOB 점수는 검증 세트의 역할을 하며, RandomForestClassifier 클래스에서 oob_score=True로 설정하면 계산됩니다.
• 모델을 훈련하고 OOB 점수를 출력해볼 수 있습니다.

rf = RandomForestClassifier(oob_score=True, n_jobs=-1, random_state=42)

rf.fit(train_input, train_target)
print(rf.oob_score_)

# 0.8934000384837406

• 교차검증에서 얻은 점수와 매우 비슷한 결과를 얻었습니다.

 

OOB 점수를 사용하면 교차검증을 대신할 수 있어서 결과적으로 훈련세트에 더 많은 샘플을 사용할 수 있습니다.

---

Summary

앙상블 학습

• 앙상블 학습: 여러 개의 모델을 훈련시켜 더 좋은 예측 결과를 만드는 머신러닝 알고리즘입니다.

랜덤 포레스트 (Random Forest)

• 랜덤 포레스트: 결정을 나무 기반의 앙상블 학습 방법으로, 부트스트랩 샘플을 사용하고, 랜덤하게 일부 특성을 선택하여 트리를 만듭니다.
• 주요 매개변수:
  • n_estimators: 앙상블을 구성할 트리의 개수 (기본값: 100)
  • criterion: 불순도 측정 방법 (gini 또는 entropy)
  • max_depth: 트리의 최대 깊이 (기본값: None)
  • min_samples_split: 노드를 나누기 위한 최소 샘플 개수 (기본값: 2)
  • max_features: 분할 시 사용할 특성의 개수 (기본값: auto, 특성 개수의 제곱근)
  • bootstrap: 부트스트랩 샘플 사용 여부 (기본값: True)
  • oob_score: OOB 샘플을 사용하여 모델 평가 여부 (기본값: False)
  • n_jobs: 병렬 실행에 사용할 CPU 코어 수 (기본값: 1)