[ML] Support Vector Machine (SVM, 서포트 벡터 머신)

이번에는 Support Vector Machine (서포트 벡터 머신)에 데하여 한번 알아보겠습니다.

 

서포트 벡터 머신(Support Vector Machine, SVM)은 복잡한 데이터셋에서도 효과적인 분류를 수행할 수 있는 강력한 지도학습 알고리즘입니다. 이 알고리즘은 데이터를 분리하는 최적의 초평면(결정 경계)을 찾아내는 것을 목표로 합니다.

SVM의 주요 특징과 원리를 자세히 살펴보겠습니다.

 

Support Vector Machine (SVM)의 주요 특징

• 결정 초평면(Decision Hyperplane): 두 클래스를 분리하는 가장 좋은 초평면을 찾습니다. 이 평면은 두 클래스 간의 마진(거리)을 최대화합니다.
  • w: 초평면의 법선 벡터, x: 데이터 포인트, b: 절편
  • w * x + b = 0
• 서포트 벡터(Support Vectors): 결정 경계에 가장 가까이 위치한 데이터 포인트들로, 경계의 위치와 방향을 결정하는 데 중요한 역할을 합니다.
  • ||w||: 법선 벡터의 크기
  • M = 2 / ||w||
• 마진 최대화(Maximizing Margin): 서포트 벡터와 결정 초평면 사이의 거리(마진)을 최대화하여, 모델의 일반화 성능을 높입니다.

yi: 데이터 포인트 xi의 레이블

---

SVM의 기본 원리

 

• 초평면(Hyperplane):
  • w⋅x + b = 0 형태의 선형 방정식을 사용하여 데이터를 분리합니다.
  • www는 초평면의 법선 벡터이고, b는 절편입니다.
• 마진(Margin):
  • 초평면으로부터 서포트 벡터까지의 최소 거리입니다.
  • 마진을 최대화하는 것이 모델의 목표입니다.
• 커널 트릭(Kernel Trick):
  • 선형 분리가 불가능한 데이터셋에 대해서 고차원 공간으로 매핑하여 선형적으로 분리할 수 있게 합니다.
  • 커널 함수를 사용하여 고차원 공간의 내적을 간접적으로 계산합니다.

---

Kernel Trick (커널 트릭)

• SVM은 본질적으로 선형 분리 알고리즘 입니다.
• 비선형 데이터에 커널트릭을 사용해 데이터를 고차원 공간으로 변환하여 선형적으로 분리합니다.
• 이러한 매핑을 명시적으로 수행하지 않고도 고차원 공간에서의 내적(Inner Product)을 계산할 수 있게 합니다.
• 여기서 커널은? 데이터를 고차원 공간으로 매핑하는 함수입니다.

---

주요 Kernel Function (커널 함수)

Kernel Function은 주로 4개의 함수가 있습니다. 한번 알아보겠습니다.

1. Linear Kernel (선형 커널)

 

2. Polynomial Kernel (다항 커널)

3. RBF 커널 (Radial Basis Function, Gaussian Kernel)

• 여기서, γ는 커럴 함수의 폭을 조절 하는 역할 입니다.

4. Sigmoid Kernel (시그모이드 커널)

• 여기서 a, c는 HyperParameter를 의미합니다.

---

SVM의 장, 단점

장점

• 고차원 데이터에서도 우수한 성능을 보입니다.
• 마진 최대화를 통한 높은 일반화 능력을 보입니다.
• 비선형 분류가 가능한 커널 트릭의 활용이 가능합니다.

단점

• 대규모 데이터셋에서는 학습 시간이 길어질 수 있습니다.
• 커널의 선택과 하이퍼파라미터 설정이 중요하며, 이에 따라 모델의 성능이 크게 영향을 받을 수 있습니다.
• 과적합을 방지하기 위한 매개변수와 함께 정확한 모델 튜닝이 필요합니다.

---

SVM Example Code

# 서포트 벡터 머신 (SVM) 예제

# 필요한 라이브러리 임포트
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.metrics import classification_report, ConfusionMatrixDisplay
import matplotlib.pyplot as plt

 

# 와인 데이터셋 로드
wine = load_wine()
X, y = wine.data, wine.target

# 데이터셋을 학습 세트와 테스트 세트로 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 데이터 표준화
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# SVM 모델 학습
svm = SVC(kernel='linear', random_state=42)
svm.fit(X_train, y_train)

# 예측 및 평가
y_pred = svm.predict(X_test)
print(classification_report(y_test, y_pred))

              precision    recall  f1-score   support

           0       1.00      1.00      1.00        14
           1       1.00      0.93      0.96        14
           2       0.89      1.00      0.94         8

    accuracy                           0.97        36
   macro avg       0.96      0.98      0.97        36
weighted avg       0.98      0.97      0.97        36

# 혼동 행렬 시각화
ConfusionMatrixDisplay.from_estimator(svm, X_test, y_test)
plt.title("SVM Confusion Matrix")
plt.show()