[ML] Hierarchical Clustering (계층적 군집 분석)

Hierarchical Clustering (계층적 군집 분석)도 Unsupervised Learning (비지도 학습)

 

계층적 군집 분석은 데이터 포인트들 간의 유사도를 바탕으로 계층적인 군집 구조를 형성하는 군집화 방법입니다.

이 방법은 데이터를 트리 구조로 표현하며, 단계별로 군집화를 진행함으로써 데이터 간의 관계와 구조를 이해하는 데 도움을 줍니다.

Hierarchical Clustering (계층적 군집 분석)의 유형

그러면, Hierarchical Clustering (계층적 군집 분석)의 유형은 어떠한 것이 있을까요? 한번 알아보겠습니다.

https://www.datacamp.com/tutorial/introduction-hierarchical-clustering-python

 

1. 병합적 군집화 (Agglomerative Clustering)

• 병합적 군집화는 각 데이터를 하나의 군집으로 시작하여, 가장 가까운 군집들을 반복적으로 병합해 나가는 방식입니다. 최종적으로 하나의 군집이 형성될 때까지 병합 과정이 계속됩니다.
• 이 과정은 하향식 접근 방식으로, 많은 작은 군집들이 점차적으로 큰 군집으로 합쳐지며, 계층적인 구조를 형성합니다.
• 최종적으로 하나의 군집이 형성될 때 까지의 병합 과정을 반복합니다.

2. 분할적 군집화 (Divisive Clustering)

• 분할적 군집화는 모든 데이터를 하나의 군집으로 시작하고, 그 군집을 점차적으로 분할해 나가는 방식입니다. 이 과정은 최종적으로 각 데이터가 하나의 군집을 형성할 때까지 진행됩니다.
• 이 방식은 상향식 접근 방식으로, 큰 군집이 점차적으로 더 작은 군집으로 나뉘어 가면서 계층적 구조를 형성합니다.
• 최종적으로 각 데이터가 하나의 군집을 형성할 떄 까지의 분할 과정을 반복합니다.

---

거리 측정 (Distance Measurement)

계층적 군집 분석에서 데이터 포인트들 간의 유사도를 측정하기 위해 거리 측정을 사용합니다.

• 일반적으로 유클리드 거리를 사용하지만, 맨해튼 거리, 코사인 유사도 등도 사용할 수 있습니다.
• 거리는 두 데이터 포인트 간의 차이를 수치적으로 표현하며, 군집화 과정에서 중요한 역할을 합니다.

---

군집 간의 거리 측정 (Linkage Criteria)

군집 간의 유사도를 측정하기 위한 다양한 기준이 존재합니다. 이러한 연결 기준은 군집화의 결과에 중요한 영향을 미칩니다.

• 단일 연결 (Single Linkage): 두 군집 간의 최소 거리를 기준으로 군집화를 진행합니다. 이는 가장 가까운 두 데이터 포인트의 거리에 기반합니다.
• 완전 연결 (Complete Linkage): 두 군집 간의 최대 거리를 기준으로 군집화를 진행합니다. 이는 가장 멀리 떨어진 두 데이터 포인트의 거리에 기반합니다.
• 평균 연결 (Average Linkage): 두 군집 간의 평균 거리를 기준으로 군집화를 진행합니다. 이는 모든 데이터 포인트 간의 평균 거리에 기반합니다.
• 중심 연결 (Centroid Linkage): 각 군집의 중심(centroid) 간의 거리를 기준으로 군집화를 진행합니다. 중심은 군집 내 모든 데이터 포인트의 평균 위치입니다.
• 워드 연결 (Ward’s Linkage): 군집 내 분산의 증가량을 최소화하는 기준으로 군집화를 진행합니다. 이 방법은 군집화 과정에서 분산을 최소화하는 방향으로 데이터를 그룹화합니다.

---

덴드로그램 (Dendrogram)

덴드로그램은 계층적 군집화 과정을 시각적으로 표현한 트리 구조입니다.

https://towardsdatascience.com/hierarchical-clustering-explained-e59b13846da8

• 이 트리 구조에서 각 노드는 군집을 나타내며, 노드 간의 높이는 군집 간의 거리 또는 유사도를 나타냅니다.
• 덴드로그램을 통해 군집화의 과정을 시각적으로 분석하고, 데이터의 구조적 관계를 이해할 수 있습니다.

---

Hierarchical Clustering (계층적 군집 분석)의 기본 원리

그러면 Hierarchical Clustering (계층적 군집 분석)의 기본 원리는 어떠한 점들이 있을까요?

http://www.sthda.com/english/articles/31-principal-component-methods-in-r-practical-guide/117-hcpc-hierarchical-clustering-on-principal-components-essentials/

1. 초기화 (Initialization)

각 데이터를 하나의 군집으로 시작합니다. 초기에는  n 개의 군집이 존재하며, 여기서  n 은 데이터 포인트의 수를 의미합니다.

2. 거리 계산 (Distance Calculation)

모든 데이터 포인트 간의 거리를 계산합니다. 이 거리는 군집화 과정에서 두 군집 간의 유사도를 측정하는 데 사용됩니다.

3. 군집 병합 (Cluster Merging)

가장 가까운 두 군집을 병합합니다. 병합 후 새로운 군집 간의 거리를 재계산하여 다음 병합을 준비합니다.

4. 반복 (Iteration)

군집의 수가 하나가 될 때까지 군집 병합 과정을 반복합니다. 이 과정을 통해 덴드로그램을 생성하고, 이를 시각적으로 표현하여 분석합니다.

---

계층적 군집 분석 (Hierarchical Clustering) 장, 단점

계층적 군집 분석의 장점

1. 계층적 구조 시각화: 덴드로그램을 통해 데이터의 군집화 과정을 시각적으로 표현할 수 있습니다. 이를 통해 데이터의 구조적 관계를 직관적으로 이해할 수 있습니다.

2. 군집 수 결정 불필요: 사전에 군집 수를 결정할 필요가 없으며, 덴드로그램을 통해 적절한 군집 수를 선택할 수 있습니다. 이는 데이터의 구조를 미리 알지 못할 때 유용합니다.

3. 유연성: 다양한 연결 기준을 사용하여 군집화를 수행할 수 있어, 다양한 데이터 유형에 적용이 가능합니다.

 

계층적 군집 분석의 단점

1. 계산 비용: 모든 데이터 포인트 간의 거리를 계산하고 저장해야 하므로, 대규모 데이터셋에서는 계산 비용이 높아질 수 있습니다. 이는 계산 자원이 제한적인 환경에서 문제를 일으킬 수 있습니다.

2. 병합 후 수정 불가: 병합된 군집은 다시 분할할 수 없기 때문에, 초기 병합 단계에서 발생한 오류가 최종 결과에 지속적으로 영향을 미칠 수 있습니다. 이로 인해 잘못된 군집화 결과를 초래할 가능성이 있습니다.

3. 노이즈 민감성: 계층적 군집 분석은 이상치나 노이즈 데이터에 민감하게 반응할 수 있습니다. 이는 데이터의 군집화 결과를 왜곡시킬 수 있으며, 추가적인 전처리 작업이 필요할 수 있습니다.

---

계층적 군집 분석 (Hierarchical Clustering) Example Code

!kaggle datasets download -d mlg-ulb/creditcardfraud
!unzip creditcardfraud.zip

 

# 계층적 군집 분석 예제

# 필요한 라이브러리 임포트
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from scipy.cluster.hierarchy import dendrogram, linkage
import matplotlib.pyplot as plt

# 데이터셋 로드
X = np.array([[5,3],
    [10,15],
    [15,12],
    [24,10],
    [30,30],
    [85,70],
    [71,80],
    [60,78],
    [70,55],
    [80,91],])
labels = range(1, 11)
linked = linkage(X, 'single')

plt.figure(figsize=(10, 7))
dendrogram(linked,
            orientation='top',
            labels=labels,
            distance_sort='descending',
            show_leaf_counts=True)
plt.show()