[ML] K-Means Clustering (K-평균 클러스터링)

앞에 글에서 비지도학습의 기법들에 데하여 알아보았습니다.
이번에는 그 중 하나인  K-Means Clustering (K-평균 클러스터링)에 데하여 알아보겠습니다.

 

K-평균 클러스터링은 데이터를 K개의 군집으로 나누어 각 데이터 포인트를 유사한 특성을 가진 그룹으로 묶는 군집화 알고리즘입니다.

이를 통해 데이터의 구조를 이해하고, 데이터 분석 및 시각화를 용이하게 할 수 있습니다.

---

K-Means Clustering의 특징

K-평균 클러스터링의 특징은 여러개가 있습니다. 한번 알아보겠습니다.

https://towardsdatascience.com/k-means-a-complete-introduction-1702af9cd8c?gi=d3aab66db208

 

1. 군집 수 K: 사용자가 군집 수 K를 사전에 정의해야 하며, 이 값은 모델의 성능에 직결되는 중요한 하이퍼파라미터입니다.

• 적절한 K를 선택하는 것이 군집화의 성공 여부에 큰 영향을 미칩니다.

2. 거리 기반 알고리즘: K-평균 클러스터링은 유클리드 거리(Euclidean Distance)를 사용하여 데이터 포인트 간의 유사성을 측정합니다.

• 각 데이터 포인트는 가장 가까운 군집 중심(centroid)으로 할당됩니다.

3. 평균 중심: 각 군집의 중심은 해당 군집에 속한 데이터 포인트들의 평균 값으로 정의됩니다.

• 이는 군집의 대표 값을 나타내며, 이후 단계에서 군집 할당의 기준점이 됩니다.

4. 반복적 과정: K-평균 클러스터링은 군집 할당과 중심 업데이트를 반복하여 최적의 군집을 찾습니다.

• 이 과정은 군집 중심이 더 이상 변하지 않거나 지정된 반복 횟수에 도달할 때까지 수행됩니다.

5. 계산 효율성: K-평균 클러스터링은 비교적 계산 효율성이 높아 대규모 데이터셋에서도 빠르게 동작합니다.

• 이는 실시간 처리나 대규모 데이터 분석에 유리합니다.

---

K-Means Clustering의 기본 원리

그러면 K-평균 클러스터링의 기본 원리에는 어떠한 것들이 있을까요?

https://scikit-learn.org/stable/auto_examples/cluster/plot_kmeans_silhouette_analysis.html

 

1. 초기화: K개의 군집 중심을 초기화합니다. 초기 중심은 임의로 선택될 수 있으며, 이는 알고리즘의 시작점이 됩니다.

2. 할당 단계: 각 데이터 포인트를 가장 가까운 군집 중심에 할당합니다.

• 유클리드 거리를 사용하여 각 데이터 포인트와 군집 중심 간의 거리를 계산하고, 최소 거리의 중심에 해당 포인트를 할당합니다.

3. 업데이트 단계: 각 군집의 중심을 해당 군집에 속한 데이터 포인트들의 평균으로 업데이트합니다.

• 이 과정은 새로운 중심을 계산하는 것이며, 이전 단계에서의 할당 결과를 바탕으로 수행됩니다.
• cj는 군집 j의 새로운 중심, Cj는 군집 j에 속한 데이터 포인트들의 집합입니다.

4. 반복: 할당 단계와 업데이트 단계를 반복합니다.

• 이 과정은 군집 중심이 더 이상 변하지 않거나, 지정된 반복 횟수에 도달할 때까지 수행됩니다.
• 최종적으로 데이터 포인트들은 최적의 군집으로 할당됩니다.

---

K-Means Clustering의 수식

• 유클리드 거리: 각 데이터 포인트 (xi)와 군집 중심 (cj) 간의 거리는 다음과 같이 계산됩니다.

• 군집 중심 업데이트: 군집 (Cj)의 새로운 중심 (cj)는 해당 군집에 속한 데이터 포인트들의 평균 값으로 계산됩니다.

• 목적 함수: K-평균 클러스터링은 군집 내 데이터 포인트와 군집 중심 간의 총 거리 제곱합을 최소화하는 방향으로 작동합니다. 목적 함수 (J)는 다음과 같이 정의됩니다.

• J는 목적함수 값, K는 군집의 수, Cj는 군집 j에 속한 데이터 포인트들의 집합입니다.

---

K-Mean Clustering의 장,단점

https://www.kaggle.com/code/heeraldedhia/kmeans-clustering-for-customer-data

K-평균 클러스터링의 장점

1. 간단하고 빠름: K-평균 클러스터링은 구현이 간단하며, 대규모 데이터셋에서도 빠르게 작동합니다. 이로 인해 많은 실제 응용에서 널리 사용됩니다.

2. 해석 용이: 결과를 시각적으로 이해하기 쉬우며, 데이터의 그룹화 상태를 쉽게 해석할 수 있습니다. 이는 특히 시각화가 중요한 데이터 분석에서 유용합니다.

3. 확장성: 대규모 데이터셋에 대해 효율적으로 작동하며, 다양한 데이터 유형에 적용 가능합니다.

 

K-평균 클러스터링의 단점

1. K의 결정 어려움: 적절한 군집 수 K를 사전에 결정하는 것이 어렵습니다. 잘못된 K를 선택할 경우, 군집화 성능이 크게 저하될 수 있습니다.

2. 초기 중심에 민감: 초기 군집 중심의 선택에 따라 결과가 크게 달라질 수 있습니다. 따라서 다양한 초기화 방법이 제안되고 있습니다.

3. 구형 군집만 찾음: K-평균 클러스터링은 군집의 모양이 구형(spherical)에 가깝다고 가정합니다. 따라서 복잡한 형태의 군집을 찾는 데는 한계가 있습니다.

4. 노이즈와 이상치에 민감: K-평균 클러스터링은 노이즈와 이상치에 민감하게 반응합니다. 이는 군집화 결과에 부정적인 영향을 미칠 수 있습니다.

---

K-Mean Clustering의 개선 방법

그러면, K-평균 Clustering을 개선 할 수 있는 방법이 있을까요? 다양한 방법이 있습니다.

https://www.linkedin.com/pulse/k-means-elbow-method-clustering-bogus%C5%82aw-konefa%C5%82/

 

1. K-Means++ 초기화: 초기 군집 중심을 더 신중하게 선택하여, 수렴 속도를 높이고 성능을 향상시킵니다.

• 첫 번째 중심을 무작위로 선택한 후, 나머지 중심은 데이터 포인트 간의 거리를 고려하여 선택합니다.

2. 엘보우 방법 (Elbow Method): 최적의 군집 수 K를 선택하기 위한 방법입니다.

• 목적 함수 J의 감소율이 급격히 줄어드는 지점(엘보우 포인트)을 찾아 최적의 K를 결정합니다.

3. 실루엣 분석 (Silhouette Analysis): 각 데이터 포인트가 얼마나 잘 군집화되었는지를 측정하는 방법입니다.

• 실루엣 값은 -1에서 1 사이의 값을 가지며, 값이 클수록 더 잘 군집화된 것입니다. 이는 군집의 품질을 평가하는 데 유용합니다.

---

K-Mean Clustering Example Code

!kaggle datasets download -d mlg-ulb/creditcardfraud
!unzip creditcardfraud.zip

# K-평균 클러스터링 예제

# 필요한 라이브러리 임포트
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

# 데이터셋 로드
data = pd.read_csv('/content/creditcard.csv')
data.head()

# 필요한 특성 선택
X = data.drop(['Time', 'Class'], axis=1)

# 데이터 표준화
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# K-평균 클러스터링 모델 생성 및 학습
kmeans = KMeans(n_clusters=2, random_state=42)
kmeans.fit(X_scaled)

# 클러스터링 결과 시각화 (PCA를 사용하여 2차원으로 축소)
from sklearn.decomposition import PCA
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

plt.figure(figsize=(10, 7))
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=kmeans.labels_, cmap='viridis')
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], s=300, c='red', marker='X')
plt.xlabel('PCA Component 1')
plt.ylabel('PCA Component 2')
plt.title('K-Means Clustering of Credit Card Fraud Dataset')
plt.show()