[ML] Isomap (아이소맵)

이번에는 Isomap이라는 머신러닝 기법에 데하여 알아보겠습니다.

 

아이소맵(Isomap)은 비선형 차원 축소 기법으로, 고차원 데이터의 기하학적 구조를 보존하면서 저차원으로 변환하는 방법입니다.

이 알고리즘은 지오데식 거리(Geodesic Distance)를 사용하여 데이터 간의 거리를 측정하고, 이를 바탕으로 저차원 공간에서 데이터의 구조를 시각화합니다.

 

Isomap의 특징

https://towardsdatascience.com/isomap-embedding-an-awesome-approach-to-non-linear-dimensionality-reduction-fc7efbca47a0

 

• 비선형 차원 축소: Isomap은 데이터의 비선형 구조를 보존하면서 차원을 축소할 수 있습니다. 이는 PCA와 같은 선형 차원 축소 기법으로는 어려운 데이터의 복잡한 구조를 잘 유지할 수 있습니다.
• 지오데식 거리 기반: 데이터 포인트 간의 실제 거리(지오데식 거리)를 사용하여 데이터의 구조적 관계를 반영합니다. 지오데식 거리는 데이터의 내재된 기하학적 구조를 잘 나타낼 수 있습니다.
• 그래프 기반 접근: Isomap은 데이터 포인트들 간의 관계를 그래프로 모델링합니다. 각 데이터 포인트의 k개의 최근접 이웃을 찾아 연결하고, 이 그래프를 통해 데이터의 구조를 파악합니다.
• MDS 사용: 다차원 척도법(Multidimensional Scaling, MDS)을 사용하여 저차원 임베딩을 생성합니다. MDS는 입력된 거리 행렬을 최대한 보존하는 방식으로 저차원 공간에서 데이터 포인트를 배치합니다.

---

Isomap의 기본 원리

그러면 Isomap의 기본 원리는 어떠한 것들이 있을까요? 

 

https://minye-lee19.gitbook.io/sw-engineer/business-analytics/class/1-6-isomap-and-lle

최근접 이웃 그래프 구성 (Constructing Nearest Neighbor Graph)

• 각 데이터 포인트에 대해, k개의 최근접 이웃을 탐색하여 그래프를 구성합니다. 이 그래프는 데이터 포인트 간의 근접성을 나타내며, Isomap의 핵심 구조입니다.

지오데식 거리 계산 (Calculating Geodesic Distances)

• 그래프 내의 모든 데이터 포인트 쌍 간의 최단 경로를 계산하여 지오데식 거리를 측정합니다. 이 단계에서는 다익스트라 알고리즘(Dijkstra's algorithm)과 같은 최단 경로 알고리즘을 사용합니다.

다차원 척도법 (Multidimensional Scaling, MDS)

• 지오데식 거리 행렬을 입력으로 받아, 저차원 임베딩을 생성합니다. MDS는 이 거리 행렬을 보존하는 방식으로 저차원 공간에서 데이터 포인트를 배치하여, 고차원 데이터의 구조를 시각적으로 표현할 수 있습니다.

---

지오데식 거리 계산 (Calculating Geodesic Distances)

Isomap에서는 그래프 내의 모든 데이터 포인트 쌍 간의 최단 경로를 계산하여 지오데식 거리를 측정합니다.

• 각 데이터 포인트 i와 j사이의 지오데식 거리 dg(i. j)는 그래프 내에서 최단 경로를 통해 계산됩니다.

• 위의 수식을 보면 P(i, j)는 데이터 포인트 i와 j 사시의 모든 경로의 집합, d(u, v)는 그래프에서 연결된 포인트 u와 v간의 거리입니다.

---

다차원 척도법 (Multidimensional Scaling, MDS)

또한 Isomap 에서 다차원 척도법 (MDS)를 사용합니다.

• 다차원 척도법 (MDS)에선 지오데식 거리 행렬 D를 사용하여 저차원 공간에서 유사하게 재현할 수 있는 점들의 배치를 탐색합니다.

---

Isomap의 장, 단점 & 개선 방법

Isomap의 장점

1. 비선형 구조 보존: Isomap은 데이터의 비선형 구조를 잘 보존하면서 차원을 축소할 수 있습니다. 이는 비정형적이고 복잡한 데이터에 특히 유리합니다.
2. 지오데식 거리 사용: 실제 데이터의 구조적 관계를 반영하는 지오데식 거리를 사용함으로써, 데이터의 내재된 기하학적 구조를 보다 정확하게 표현할 수 있습니다.
3. 고차원 데이터 시각화: 고차원 데이터를 저차원 공간으로 변환하여 시각화할 수 있어, 데이터의 구조를 이해하기 쉽게 만듭니다.

Isomap의 단점

1. 계산 복잡성: 최근접 이웃 그래프 구성 및 지오데식 거리 계산 과정에서 계산 비용이 많이 듭니다. 특히 대규모 데이터셋에서 계산 복잡성이 크게 증가할 수 있습니다.
2. 노이즈에 민감: 데이터에 노이즈가 많을 경우, 그래프 구조가 왜곡될 수 있습니다. 이는 결과적으로 저차원 임베딩의 품질에 부정적인 영향을 미칠 수 있습니다.
3. k값 결정: 적절한 k값을 선택하는 것이 어렵습니다. k값이 너무 작거나 크면 그래프의 연결성과 데이터의 구조적 보존이 적절히 이루어지지 않을 수 있습니다.

Isomap의 개선 방법

1. 최적의 k값 선택
   • 다양한 k값을 시도하여 최적의 k값을 선택하는 것이 중요합니다.
   • 이 선택은 그래프의 연결성과 데이터의 구조적 보존에 직접적인 영향을 미칩니다.
2. 노이즈 제거
   • 데이터 전처리 단계에서 노이즈를 제거하여 그래프 구조의 왜곡을 줄일 수 있습니다.
   • 이는 더 정확한 지오데식 거리 계산을 가능하게 합니다.
3. 고차원 데이터 처리
   • 고차원 데이터를 처리할 때, 먼저 PCA 등의 차원 축소 기법을 적용하여 차원을 줄인 후 Isomap을 적용할 수 있습니다.
   • 이렇게 하면 계산 비용을 줄이면서도 데이터의 주요 구조를 보존할 수 있습니다.

---

Isomap Example Code (by Python)

# 필요한 라이브러리 임포트
import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.manifold import Isomap
import matplotlib.pyplot as plt

 

 

# Iris 데이터셋 로드
iris = load_iris()
X = iris.data
y = iris.target

# 데이터 표준화
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# Isomap 적용
isomap = Isomap(n_components=2, n_neighbors=5)
X_isomap = isomap.fit_transform(X_scaled)

# Isomap 결과 시각화
plt.figure(figsize=(10, 7))
for target in np.unique(y):
    plt.scatter(X_isomap[y == target, 0], X_isomap[y == target, 1], label=iris.target_names[target])
plt.xlabel('Isomap Component 1')
plt.ylabel('Isomap Component 2')
plt.title('Isomap of Iris Dataset')
plt.legend()
plt.show()