[ML] Principal Component Analysis (PCA - 주성분 분석)

주성분 분석(Principal Component Analysis, PCA)은 고차원 데이터를 저차원으로 변환하여 데이터의 주요 변동성을 보존하는 차원 축소 기법입니다. 이 방법은 데이터의 분산을 최대화하는 직교 축을 찾아 데이터를 새로운 좌표계로 변환함으로써 노이즈를 줄이고, 시각화 및 해석을 용이하게 합니다. 주성분 분석은 데이터 시각화, 노이즈 제거, 데이터 압축 등의 목적으로 널리 사용됩니다.

https://yonghyuc.wordpress.com/2019/07/16/principal-component-analysis-pca/

---

PCA(주성분 분석)의 특징

PCA의 주요한 특징은 어떠한 점이 있을까요?

1. 분산 최대화

PCA는 데이터의 분산을 최대화하는 방향으로 새로운 축을 탐색합니다. 가장 많은 변동성을 설명하는 주성분을 찾는다는 의미입니다.

2. 직교 축

주성분은 서로 직교(orthogonal)하는 축으로 구성됩니다. 이로 인해 주성분 간의 상관관계가 없으며, 각 주성분이 고유정보를 제공합니다.

3. 순서 중요

첫 번째 주성분은 가장 큰 분산을 가지며, 두 번째 주성분은 다음으로 큰 분산을 가집니다. 데이터의 주요 변동을 단계적으로 설명합니다.

4. 데이터 변환

고유벡터를 사용하여 데이터를 새로운 좌표계로 변환합니다. 이 변환된 데이터는 차원이 축소되었지만, 원래 데이터의 중요한 정보를 최대한 보존합니다.

---

PCA의 기본 원리

PCA의 기본 원리는 어떠한 것들이 있을까요?

https://knowledge.dataiku.com/latest/ml-analytics/statistics/concept-principal-component-analysis-pca.html

데이터 중심화 (Centering the Data)

각 변수의 평균을 0으로 설정하여 데이터의 중심을 맞춥니다. 이를 통해 중심화된 데이터 행렬 X 를 만듭니다.

공분산 행렬 계산 (Calculating the Covariance Matrix)

중심화된 데이터의 공분산 행렬 Σ(Sigma)를 계산합니다. 공분산 행렬은 데이터 변수 간의 분산과 공분산을 포함합니다.

고유값 분해 (Eigenvalue Decomposition)

공분산 행렬 Σ(Sigma)의 고유값과 고유벡터를 계산합니다. 고유값 λi 와 고유벡터 vi 를 탐색하여, 데이터의 변동성을 설명하는 주성분을 찾습니다.

주성분 선택 (Selecting Principal Components)

고유값의 크기 순으로 고유벡터를 정렬하여 주성분을 선택합니다. 가장 큰 고유값에 해당하는 고유벡터가 첫 번째 주성분을 나타내며, 이후 고유값 순으로 주성분을 선택합니다.

데이터 변환 (Transforming the Data)

선택된 주성분을 사용하여 데이터를 새로운 좌표계로 변환합니다. 변환된 데이터 행렬 Z 는 중요한 정보를 보존하면서도 차원이 축소된 데이터입니다.

• 여기서 Z는 변환된 데이터 행렬, V는 선택된 교유벡터 행렬입니다.

---

PCA(주성분 분석)의 장, 단점

주성분 분석의 장점

1. 차원 축소: 데이터의 차원을 축소하여 계산 비용을 줄이고, 데이터 시각화를 용이하게 합니다. 고차원 데이터를 2차원이나 3차원으로 변환하여 시각적으로 분석할 수 있습니다.
2. 노이즈 제거: 주요 성분을 제외한 나머지 성분을 제거함으로써 데이터의 노이즈를 줄일 수 있습니다. 이는 모델의 성능을 향상시키는 데 도움을 줍니다.
3. 데이터 압축: 중요한 정보만을 보존하면서 데이터를 압축할 수 있습니다. 이는 저장 공간을 절약하고, 데이터 처리 속도를 높이는 데 유리합니다.

주성분 분석의 단점

1. 해석의 어려움: 변환된 주성분이 원래 변수와 어떤 관계가 있는지 해석하기 어려울 수 있습니다. 주성분이 직관적이지 않기 때문에 결과를 이해하는 데 추가적인 분석이 필요할 수 있습니다.
2. 선형성 가정: PCA는 선형 변환만을 사용하므로, 비선형 구조를 가진 데이터에는 적합하지 않습니다. 비선형 데이터의 경우, PCA의 적용이 한계가 있을 수 있습니다.
3. 정보 손실: 차원을 축소하는 과정에서 일부 정보가 손실될 가능성이 높습니다. 이로 인해 데이터의 원래 구조나 관계가 일부 왜곡될 수 있습니다.

---

PCA(주성분 분석)의 개선 방법

 

비선형 차원 축소 기법

• PCA는 선형 변환에 한정되므로, 비선형 구조를 가진 데이터에는 다른 차원 축소 기법을 사용하는 것이 좋습니다. 예를 들어, t-SNE나 UMAP과 같은 비선형 차원 축소 기법이 효과적일 수 있습니다.

고차원 데이터 처리

• 고차원 데이터를 처리할 때는 먼저 중요하지 않은 변수를 제거하거나 변수 선택(feature selection)을 수행하여 차원을 감소시킨 후, PCA를 적용하는 것이 효과적입니다.

PCA의 변형

• 커널 PCA (Kernel PCA): 비선형 변환을 통해 데이터의 비선형 구조를 반영할 수 있는 방법입니다. 원래 PCA를 커널 트릭과 결합하여 비선형 관계를 탐색합니다.
• Sparse PCA: 희소성을 적용하여 주성분 탐색을 수행하는 방법입니다. 이는 변수 선택과 PCA를 결합한 형태로, 특정 변수들만을 강조하여 차원 축소를 수행합니다.

---

PCA(주성분 분석) Example Code

!kaggle datasets download -d mlg-ulb/creditcardfraud
!unzip creditcardfraud.zip

 

# 주성분 분석 (PCA) 예제

# 필요한 라이브러리 임포트
import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt

# 데이터셋 로드
data = pd.read_csv('/content/creditcard.csv')

# 필요한 특성 선택
X = data.drop(['Time', 'Class'], axis=1)
y = data['Class']

# 데이터 표준화
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# PCA 적용
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

# PCA 결과 시각화
plt.figure(figsize=(10, 7))
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='viridis', alpha=0.5)
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.title('PCA of Credit Card Fraud Dataset')
plt.show()