[ML] Naive Bayes (나이브 베이즈)

이번에는 Naive Bayes (나이브 베이즈)라는 개념에 데하여 한번 알아보겠습니다.

Naive Bayes (나이브 베이즈)

• 나이브 베이즈(Naive Bayes)는 조건부 확률을 활용하여 분류를 수행하는 지도 학습 알고리즘입니다.
• 이 알고리즘은 독립 변수들이 서로 독립적이라고 가정하여 작동합니다.
• 이러한 가정 하에서 나이브 베이즈는 간단하지만 강력한 분류 모델을 제공합니다.

---

Bayes' Theorem (베이즈 정리)

나이브 베이즈 알고리즘은 베이즈 정리에 기반을 두고 있습니다.

• 베이즈 정리는 조건부 확률을 사용하여 특정 사건의 사후 확률을 계산하는 수학적 원리입니다. 아래는 베이즈 정리의 수식입니다.

 

• P(A∣B)P(A|B)P(A∣B): 사건 B가 일어났을 때 사건 A가 일어날 확률 (사후 확률, Posterior Probability)
  • 예: 특정 단어가 있을 때 이메일이 스팸일 확률
• P(B∣A)P(B|A)P(B∣A): 사건 A가 일어났을 때 사건 B가 일어날 확률 (우도, Likelihood)
  • 예: 스팸 메일에 특정 단어가 있을 확률
• P(A)P(A)P(A): 사건 A가 일어날 확률 (사전 확률, Prior Probability)
  • 예: 스팸 메일의 비율
• P(B)P(B)P(B): 사건 B가 일어날 확률 (증거, Evidence)
  • 예: 특정 단어가 존재할 확률

 

새로운 데이터가 주어졌을때, 해당 데이터가 특정 분류에 속할 확률을 계산하는데 사용됩니다.

 

---

Naive Bayes Algorithm의 장점

• 간단하고 빠름: 나이브 베이즈는 알고리즘이 매우 단순하여 학습과 예측 속도가 빠릅니다.
• 작은 데이터셋에 적합: 상대적으로 작은 데이터셋에서도 좋은 성능을 보일 수 있습니다.
• 다양한 응용 가능: 텍스트 분류, 스팸 필터링, 문서 분류, 감정 분석 등 여러 분야에 널리 사용됩니다.
• 확률 해석 가능: 모델의 출력이 확률값이므로, 예측의 불확실성을 해석할 수 있습니다.

---

Naive Bayes Algorithm의 단점

• 독립 가정의 한계: 모든 독립 변수가 독립적이라는 가정이 현실적으로 맞지 않을 수 있습니다. 예를 들어, 텍스트 데이터에서 단어들 사이에는 보통 상호 의존성이 있습니다.
• 연속형 데이터 처리의 어려움: 나이브 베이즈는 기본적으로 이산형 데이터를 처리하는데 적합합니다. 연속형 데이터를 다루기 위해서는 특별한 처리(예: 가우시안 나이브 베이즈)가 필요합니다.
• 훈련 데이터의 편향성: 훈련 데이터가 편향되면, 모델의 예측 성능이 저하될 수 있습니다. 이는 모델이 특정 클래스에 대해 편향된 예측을 할 수 있음을 의미합니다.

---

Naive Bayes (나이브 베이즈)의 종류

• Gaussian Naive Bayes (GaussianNB): 연속형 데이터를 다룰 때 사용합니다. 연속형 데이터를 가우시안 분포로 가정하고, 해당 분포의 평균과 분산을 계산하여 분류합니다.
• Bernoulli Naive Bayes (BernoulliNB): 이진 데이터를 다룰 때 사용합니다. 이진 특성(0 또는 1)으로 이루어진 데이터셋에서 주로 사용되며, 텍스트 데이터의 존재/부재 여부를 처리하는 데 적합합니다.
• Multinomial Naive Bayes (MultinomialNB): 이산적 카운트 데이터를 처리합니다. 예를 들어, 텍스트 분류에서 문서 내의 단어 빈도를 바탕으로 분류를 수행할 때 사용됩니다.

---

Naive Bayes (나이브 베이즈) Example Code

그러면 한번 코드로 어떻게 나이브 베이즈를 적용하는지 한번 알아보겠습니다.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.metrics import confusion_matrix, accuracy_score

# 데이터 생성
from sklearn.datasets import load_iris

data = load_iris()
X = data.data
y = data.target​

print(f"X: {X}")
print(f"y: {y}")

# 데이터 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 모델 학습
nb = GaussianNB()
nb.fit(X_train, y_train)

# 예측
y_pred = nb.predict(X_test)

# 평가
accuracy = accuracy_score(y_test, y_pred)
conf_matrix = confusion_matrix(y_test, y_pred)

print(f'Accuracy: {accuracy}')
print(f'Confusion Matrix:\n{conf_matrix}')

Accuracy: 1.0
Confusion Matrix:
[[10  0  0]
 [ 0  9  0]
 [ 0  0 11]]

• Confusion Matrix (혼동행렬) 시각화

# 시각화
sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues')
plt.xlabel('Predicted')
plt.ylabel('Actual')
plt.title('Confusion Matrix')
plt.show()