[ML] Hyperparameter Tuning (하이퍼 파라미터 튜닝)

머신러닝 모델을 학습할때 중요한 요소중 하나인 Hyperparamter(하이퍼 파라미터)에 데하여 알아보겠습니다.

Hyperparameter? (하이퍼 파라미터란?)

하이퍼 파라미터는 머신러닝 모델을 학습하기 전에 설정해야 하는 값으로, 학습 과정 중에는 변경되지 않습니다.

이는 모델의 성능과 학습 속도에 큰 영향을 미치는 중요한 요소입니다.

 

Hyperparameter 예시

1. 결정 트리의 최대 깊이: 트리가 얼마나 깊게 성장할 수 있는지를 결정하며, 모델의 복잡성을 조절합니다.
2. SVM의 커널 종류: Support Vector Machine에서 사용하는 커널의 종류를 설정하여, 데이터를 변환하는 방법을 정의합니다.
3. 신경망의 학습률: 신경망에서 가중치를 업데이트할 때 사용하는 학습률은 모델의 수렴 속도와 학습 품질에 영향을 줍니다.

 

Hyperparameter Tuning (하이퍼 파라미터 튜닝)

하이퍼 파라미터 튜닝은 모델의 성능을 최적화하기 위해 하이퍼 파라미터의 최적값을 찾는 과정입니다.

이 과정은 모델의 예측 성능을 극대화하고, 과적합을 방지하며, 학습 시간을 최적화하는 데 중요한 역할을 합니다.

https://towardsdatascience.com/understanding-hyperparameters-and-its-optimisation-techniques-f0debba07568

Hyperparameter Tuning의 목적

https://deepai.org/machine-learning-glossary-and-terms/hyperparameter

1. 모델 성능 최적화: 적절한 하이퍼 파라미터를 선택함으로써 모델의 예측 성능을 극대화합니다.
2. 과적합 방지: 하이퍼 파라미터를 적절하게 설정하여 모델이 훈련 데이터에 과적합되지 않도록 합니다. 이는 모델의 일반화 성능을 높이는 데 도움이 됩니다.
3. 계산 비용 최적화: 효율적인 하이퍼 파라미터 설정을 통해 모델 학습에 소요되는 시간을 줄일 수 있습니다.

Hyperparameter Tuning 과 모델 성능

• 하이퍼 파라미터 값에 따라 모델의 학습 속도와 성능이 크게 달라질 수 있습니다. 예를 들어, 너무 낮은 학습률은 학습 속도를 늦추고, 너무 높은 학습률은 최적의 해에 도달하지 못할 수 있습니다.
• 잘못된 하이퍼 파라미터 설정은 모델의 과적합(Overfitting) 또는 과소적합(Underfitting)을 초래할 수 있습니다.

Hyperparameter Tuning 방법

1. 그리드 서치 (Grid Search)
2. 랜덤 서치 (Random Search)

---

그리드 서치 (Grid Search)

그리드 서치는 하이퍼 파라미터의 가능한 모든 조합을 탐색하여 최적의 조합을 찾는 방법입니다.

Bergstra, James, and Yoshua Bengio. “Random search for hyper-parameter optimization.” The Journal of Machine Learning Research 13.1 (2012): 281-305

그리드 서치의 원리

1. 하이퍼 파라미터 공간 정의
   • 각 하이퍼 파라미터에 대해 탐색할 값들의 범위를 정의합니다.
2. 조합 탐색
   • 가능한 모든 하이퍼 파라미터 조합에 대해 모델을 학습하고 평가합니다.
3. 최적 조합 선택
   • 평가 성능이 가장 좋은 하이퍼 파라미터 조합을 선택합니다.

그리드 서치의 장점

• 모든 조합을 탐색하므로 최적의 하이퍼 파라미터를 찾을 가능성이 높습니다.

그리드 서치의 단점

• 계산 비용이 많이 들고, 시간이 많이 소모됩니다.
• 특히 하이퍼 파라미터가 많거나 값의 범위가 넓을 경우, 탐색 시간이 기하급수적으로 증가할 수 있습니다.

---

랜덤 서치 (Random Search)

랜덤 서치는 하이퍼 파라미터 공간에서 무작위로 조합을 선택하여 탐색하는 방법입니다.

랜덤 서치의 원리

1. 하이퍼 파라미터 공간 정의
   • 각 하이퍼 파라미터에 대해 탐색할 값들의 범위를 정의합니다.
2. 무작위 조합 선택
   • 정의된 하이퍼 파라미터 공간에서 무작위로 조합을 선택합니다.
3. 최적 조합 선택
   • 무작위로 선택된 조합들 중에서 평가 성능이 가장 좋은 조합을 선택합니다.

랜덤 서치의 장점

• 그리드 서치보다 계산 비용이 적고, 빠르게 탐색할 수 있습니다. 특히, 하이퍼 파라미터가 많을 때 유용합니다.

랜덤 서치의 단점

• 무작위 선택이므로, 최적의 하이퍼 파라미터를 찾지 못할 가능성이 있습니다.
• 그러나 적절한 탐색 범위를 설정하면, 실질적으로 그리드 서치와 유사한 성능을 얻을 수 있습니다.

---

Hyperparameter Tuning - Grid Search Example Code

# 필요한 라이브러리 임포트
import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score, confusion_matrix, classification_report
import matplotlib.pyplot as plt
import seaborn as sns

# Iris 데이터셋 로드
iris = load_iris()
X = iris.data
y = iris.target

# 학습 데이터와 테스트 데이터로 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# SVM 모델 생성
svc = SVC()

# 하이퍼 파라미터 그리드 정의
param_grid = {
    'C': [0.1, 1, 10, 100],
    'gamma': [1, 0.1, 0.01, 0.001],
    'kernel': ['rbf']
}

# Grid Search
grid = GridSearchCV(svc, param_grid, refit=True, verbose=2)
grid.fit(X_train, y_train)

# 최적 하이퍼 파라미터 출력
print(f'Best Parameters: {grid.best_params_}')

# 테스트 데이터로 예측 수행
y_pred = grid.predict(X_test)

# 정확도 계산
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy}')

# 혼동 행렬 시각화
cm = confusion_matrix(y_test, y_pred)
plt.figure(figsize=(10, 7))
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', xticklabels=iris.target_names, yticklabels=iris.target_names)
plt.xlabel('Predicted')
plt.ylabel('True')
plt.title('Confusion Matrix')
plt.show()

# 분류 리포트 출력
print(classification_report(y_test, y_pred, target_names=iris.target_names))

Fitting 5 folds for each of 16 candidates, totalling 80 fits
[CV] END .........................C=0.1, gamma=1, kernel=rbf; total time=   0.0s
[CV] END .........................C=0.1, gamma=1, kernel=rbf; total time=   0.0s
[CV] END .........................C=0.1, gamma=1, kernel=rbf; total time=   0.0s
[CV] END .........................C=0.1, gamma=1, kernel=rbf; total time=   0.0s
[CV] END .........................C=0.1, gamma=1, kernel=rbf; total time=   0.0s
[CV] END .......................C=0.1, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .......................C=0.1, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .......................C=0.1, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .......................C=0.1, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .......................C=0.1, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END ......................C=0.1, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ......................C=0.1, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ......................C=0.1, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ......................C=0.1, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ......................C=0.1, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END .....................C=0.1, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .....................C=0.1, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .....................C=0.1, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .....................C=0.1, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .....................C=0.1, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END ...........................C=1, gamma=1, kernel=rbf; total time=   0.0s
[CV] END ...........................C=1, gamma=1, kernel=rbf; total time=   0.0s
[CV] END ...........................C=1, gamma=1, kernel=rbf; total time=   0.0s
[CV] END ...........................C=1, gamma=1, kernel=rbf; total time=   0.0s
[CV] END ...........................C=1, gamma=1, kernel=rbf; total time=   0.0s
[CV] END .........................C=1, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .........................C=1, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .........................C=1, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .........................C=1, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .........................C=1, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END ........................C=1, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ........................C=1, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ........................C=1, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ........................C=1, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ........................C=1, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END .......................C=1, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .......................C=1, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .......................C=1, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .......................C=1, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .......................C=1, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END ..........................C=10, gamma=1, kernel=rbf; total time=   0.0s
[CV] END ..........................C=10, gamma=1, kernel=rbf; total time=   0.0s
[CV] END ..........................C=10, gamma=1, kernel=rbf; total time=   0.0s
[CV] END ..........................C=10, gamma=1, kernel=rbf; total time=   0.0s
[CV] END ..........................C=10, gamma=1, kernel=rbf; total time=   0.0s
[CV] END ........................C=10, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END ........................C=10, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END ........................C=10, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END ........................C=10, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END ........................C=10, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .......................C=10, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END .......................C=10, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END .......................C=10, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END .......................C=10, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END .......................C=10, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ......................C=10, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END ......................C=10, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END ......................C=10, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END ......................C=10, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END ......................C=10, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .........................C=100, gamma=1, kernel=rbf; total time=   0.0s
[CV] END .........................C=100, gamma=1, kernel=rbf; total time=   0.0s
[CV] END .........................C=100, gamma=1, kernel=rbf; total time=   0.0s
[CV] END .........................C=100, gamma=1, kernel=rbf; total time=   0.0s
[CV] END .........................C=100, gamma=1, kernel=rbf; total time=   0.0s
[CV] END .......................C=100, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .......................C=100, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .......................C=100, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .......................C=100, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END .......................C=100, gamma=0.1, kernel=rbf; total time=   0.0s
[CV] END ......................C=100, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ......................C=100, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ......................C=100, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ......................C=100, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END ......................C=100, gamma=0.01, kernel=rbf; total time=   0.0s
[CV] END .....................C=100, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .....................C=100, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .....................C=100, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .....................C=100, gamma=0.001, kernel=rbf; total time=   0.0s
[CV] END .....................C=100, gamma=0.001, kernel=rbf; total time=   0.0s
Best Parameters: {'C': 100, 'gamma': 0.01, 'kernel': 'rbf'}
Accuracy: 1.0

              precision    recall  f1-score   support

      setosa       1.00      1.00      1.00        19
  versicolor       1.00      1.00      1.00        13
   virginica       1.00      1.00      1.00        13

    accuracy                           1.00        45
   macro avg       1.00      1.00      1.00        45
weighted avg       1.00      1.00      1.00        45