[혼공머신] Clustering Algoritm (군집 알고리즘)

Target을 모르는 Unsupervised Learning(비지도 학습)

Target을 모로는 데이터를 종류별로 분류하려고 할때 사용하는 ML 알고리즘이 있습니다.
바로 Unsuperivsed Learning (비지도 학습) 입니다.

 

사람이 알려주지 않아도, 데이터에 있는 무언가를 학습하는 방식이라고 생각하시면 편합니다.

그러면 한번 데이터를 준비해 보겠습니다.

---

Data 준비하기

사과, 바나나, 파인애플로 구성된 흑색 사진의 과일 데이터를 준비해보겠습니다.

!wget https://bit.ly/fruits_300_data -O fruits_300.npy

--2023-07-16 14:21:20--  https://bit.ly/fruits_300_data
Resolving bit.ly (bit.ly)... 67.199.248.10, 67.199.248.11
Connecting to bit.ly (bit.ly)|67.199.248.10|:443... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: https://github.com/rickiepark/hg-mldl/raw/master/fruits_300.npy [following]
--2023-07-16 14:21:20--  https://github.com/rickiepark/hg-mldl/raw/master/fruits_300.npy
Resolving github.com (github.com)... 20.27.177.113
Connecting to github.com (github.com)|20.27.177.113|:443... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://raw.githubusercontent.com/rickiepark/hg-mldl/master/fruits_300.npy [following]
--2023-07-16 14:21:21--  https://raw.githubusercontent.com/rickiepark/hg-mldl/master/fruits_300.npy
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 185.199.110.133, 185.199.111.133, 185.199.109.133, ...
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|185.199.110.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 3000128 (2.9M) [application/octet-stream]
Saving to: ‘fruits_300.npy’

fruits_300.npy      100%[===================>]   2.86M  --.-KB/s    in 0.08s   

2023-07-16 14:21:21 (36.4 MB/s) - ‘fruits_300.npy’ saved [3000128/3000128]

 

이제 다운로드한 파일에서 데이터를 한번 로드해 보겠습니다.

import numpy as np
import matplotlib.pyplot as plt

 

Numpy에서 .npy 형식의 파일을 import 하는 방법은 load() Method에 파일이름을 전달하면 됩니다.

fruits = np.load('fruits_300.npy')

print(fruits.shape)
# (300, 100, 100)

 

Data의 차원을 한번 확인해보면, 첫번째 차원의 300은 샘플의 개수, 두번째 차원 100은 이미지의 높이, 세번째 차원 100은 이미지의 넓이 입니다. 이미지의 크기는 100x100입니다. 각 픽셀은 Numpy Array의 원소 하나에 대응합니다.

 

한번 첫번째 이미지의 첫번째 행을 한번 출력해 보겠습니다.

3차원 배열이므로, 처음 2개의 index는 0으로 지정하고, 마지막 index는 지정하지 않거나 slicing 연산자를 사용하면 첫번째 이미지의 첫번째 행을 모두 선택 할 수 있습니다.

print(fruits[0, 0, :])

[  1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   2   1
   2   2   2   2   2   2   1   1   1   1   1   1   1   1   2   3   2   1
   2   1   1   1   1   2   1   3   2   1   3   1   4   1   2   5   5   5
  19 148 192 117  28   1   1   2   1   4   1   1   3   1   1   1   1   1
   2   2   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1
   1   1   1   1   1   1   1   1   1   1]

 

첫번째 행에있는 넘파이 배열에 담긴 흑백 이미지의 첫 번째 행에 있는 100개의 픽셀 값을 출력한 후, 이를 이미지와 비교해 설명하고자 합니다. 이를 위해 Matplotlib의 imshow() 함수를 사용하여 이미지를 그려서 비교해보겠습니다.

흑백 이미지이므로 cmap 매개변수를 'gray'로 지정해야합니다.

 

plt.imshow(fruits[0], cmap='gray')
plt.show()

 

첫 번째 이미지는 사과 같습니다. 다음의 그림처럼 첫 번째 행이 위에서 출력한 배열 값에 해당합니다. 0에 가까울수록 검게 나타나고 높은 값은 밝게 표시됩니다. 보통 흑백 샘플 이미지는 바탕이 밝고 물체(여기서는 사과)가 짙은색입니다. 그런데 왜 이렇게 보일까요?

 

이 흑백 이미지는 사진으로 찍은 이미지를 넘파이 배열로 변환할 때 반전시킨 것입니다. 사진의 흰 바탕(높은 값)은 검은색(낮은 값)으로 만들고 실제 사과가 있어 짙은 부분(낮은 값)은 밝은 색(높은 값)으로 바꾸었습니다. 왜 이렇게 바꾸었을까요?

 

여기서 관심 대상은 바탕이 아니라 사과입니다. 흰색 바탕은 우리에게 중요하지 않지만 컴퓨터는 255에 가까운 바탕에 집중할 것입니다.

따라서 바탕을 검게 만들고 사진에 짙게 나온 사과를 밝은 색으로 만들었습니다.

 

컴퓨터가 255에 가까운 바탕에 집중하는 이유: 알고리즘이 어떠한 출력을 만들기 위해 곱셈, 덧셈을 합니다.
픽셀값이 0이면 출력도 0이 되어 의미가 없습니다. 픽셀값이 높으면 출력값도 커지기 때문에 의미를 부여하기 좋습니다.

 

사람의 시선으로 보는 것과 컴퓨터가 처리하는 방식이 다르기 때문에 종종 흑백 이미지를 이렇게 반전하여 사용합니다.

관심 대상의 영역을 높은 값으로 바꾸었지만 Matplotlib으로 출력할 때 바탕이 검게 나오므로 보기에는 썩 좋지 않습니다.

cmap 매개변수를 gray_r로 지정하면 다시 반전하여 우리 눈에 보기 좋게 출력합니다.

plt.imshow(fruits[0], cmap='gray_r')
plt.show()

 

 

이 데이터는 사과, 바나나, 파인애플 이미지가 각각 100개씩 들어있습니다. 바나나와 파인애플 이미지도 출력하겠습니다.

 

Matplotlib의 subplots() 함수를 사용하면 여러 개의 그래프를 배열처럼 쌓을 수 있습니다. subplots() 함수의 두 매개변수는 그래프를 쌓을 행과 열을 지정합니다. 여기에서는 subplots(1, 3)처럼 하나의 행과 3개의 열을 지정했습니다.

 

반환된 axs는 3개의 서브그래프를 담고 있는 배열입니다. axs[0]에 사과 이미지를, axs[1]에 파인애플 이미지를, axs[2]에 바나나 이미지를 그렸습니다. 이장에서 subplots()를 사용해 한번에 여러 개의 이미지를 그려보겠습니다.

fig, axs = plt.subplots(1, 2)
axs[0].imshow(fruits[100], cmap='gray_r')
axs[1].imshow(fruits[200], cmap='gray_r')
plt.show()

 

---

Pixel값 분석하기

넘파이 배열을 사용하여 데이터를 사과, 파인애플, 바나나로 각각 나누고, 각 이미지를 100x100 크기의 2차원 배열에서 길이가 10,000인 1차원 배열로 펼쳐보겠습니다. 이렇게 하면 배열을 계산할 때 편리합니다.

 

fruits 배열에서 순서대로 100개씩 선택하기 위해 슬라이싱 연산자를 사용합니다. 그다음 reshape() 메서드를 사용해 두 번째 차원(100)과 세 번째 차원(100)을 10,000으로 합칩니다. 첫 번째 차원을 -1로 지정하면 자동으로 남은 차원을 할당합니다.

여기에서는 첫 번째 차원이 샘플 개수입니다.

apple = fruits[0:100].reshape(-1, 100*100)
pineapple = fruits[100:200].reshape(-1, 100*100)
banana = fruits[200:300].reshape(-1, 100*100)

print(apple.shape)
# (100, 10000)

 

확인해보니까 apple, pineapple, banana 배열의 크기는 (100, 10000)입니다. 나머지도 다 동일합니다.

이제 apple, pineapple, banana 배열에 들어있는 샘플의 픽셀 평균값을 계산해보겠습니다. 이를 위해 넘파이 mean() 메서드를 사용할 겁니다. 샘플마다 픽셀의 평균값을 계산해야 하므로 mean() 메서드가 평균을 계산할 축을 지정해야 합니다.

axis=1로 지정하면 두 번째 축인 열을 따라 계산합니다.

axis는 Array(배열)의 축을 의미합니다. axis=0 이면 행 방향, axis=1 이면 열 방향을 의미합니다.

 

우리가 필요한것은 샘플의 평균값 입니다. 샘플은 모두 가로로 값을 나열했으니 axis=1로 지정하여 평균을 계산해 보겠습니다.

(앞에 2차원 배열을 1차원 배열로 치환했기에 가능한 계산 입니다). 평균을 계산하는 Numpy np.mean() 함수를 사용해도 되지만 Numpy 배열은 이런 함수들을 메서드로도 제공합니다. apple 배열의 mean() 메서드로 각 샘플의 픽셀 평균 값을 계산해보겠습니다.

print(apple.mean(axis=1))

[ 88.3346  97.9249  87.3709  98.3703  92.8705  82.6439  94.4244  95.5999
  90.681   81.6226  87.0578  95.0745  93.8416  87.017   97.5078  87.2019
  88.9827 100.9158  92.7823 100.9184 104.9854  88.674   99.5643  97.2495
  94.1179  92.1935  95.1671  93.3322 102.8967  94.6695  90.5285  89.0744
  97.7641  97.2938 100.7564  90.5236 100.2542  85.8452  96.4615  97.1492
  90.711  102.3193  87.1629  89.8751  86.7327  86.3991  95.2865  89.1709
  96.8163  91.6604  96.1065  99.6829  94.9718  87.4812  89.2596  89.5268
  93.799   97.3983  87.151   97.825  103.22    94.4239  83.6657  83.5159
 102.8453  87.0379  91.2742 100.4848  93.8388  90.8568  97.4616  97.5022
  82.446   87.1789  96.9206  90.3135  90.565   97.6538  98.0919  93.6252
  87.3867  84.7073  89.1135  86.7646  88.7301  86.643   96.7323  97.2604
  81.9424  87.1687  97.2066  83.4712  95.9781  91.8096  98.4086 100.7823
 101.556  100.7027  91.6098  88.8976]

 

Matplotlib의 hist() 함수를 사용해 히스토그램을 그려보죠. 사과, 파인애플, 바나나에 대한 히스토그램을 모두 겹쳐서 그려보겠습니다.

이렇게 하려면 조금 투명하게 해야 겹친 부분을 잘 볼 수 있습니다. alpha 매개변수를 1보다 작게 하면 투명도를 줄 수 있습니다.

또한, Matplotlib의 legend() 함수를 사용해 어떤 과일의 히스토그램인지 범례를 만들어 보겠습니다.

 

plt.hist(np.mean(apple, axis=1), alpha=0.8)
plt.hist(np.mean(pineapple, axis=1), alpha=0.8)
plt.hist(np.mean(banana, axis=1), alpha=0.8)
plt.legend(['apple', 'pineapple', 'banana'])
plt.show()

 

히스토그램을 보면 바나나 사진의 평균값은 40 이하에 집중되어 있습니다. 사과와 파인애플은 90~100 사이에 많이 모여 있습니다.

그림을 보면 바나나는 픽셀 평균값만으로 사과나 파인애플과 확실히 구분됩니다. 바나나는 사진에서 차지하는 영역이 작기 때문에 평균값이 작습니다. 반면, 사과와 파인애플은 많이 겹쳐 있어서 픽셀값만으로는 구분하기 쉽지 않습니다. 사과와 파인애플은 대체로 형태가 동그랗고 사진에서 차지하는 크기도 비슷하기 때문입니다.

 

좀 더 나은 방법은 픽셀별 평균값을 비교하는 것입니다. 전체 샘플에 대해 각 픽셀의 평균을 계산하는 것이죠. 세 과일은 모양이 다르므로 픽셀값이 높은 위치가 조금 다를 것입니다. 픽셀의 평균을 계산하는 것도 간단합니다. axis=0으로 지정하면 됩니다.

이번에는 Matplotlib의 bar() 함수를 사용해 픽셀 10,000개에 대한 평균값을 막대그래프로 그려보겠습니다.

subplots() 함수를 사용해 3개의 서브그래프를 만들어 사과, 파인애플, 바나나에 대한 막대그래프를 그려보겠습니다.

fig, axs = plt.subplots(1, 3, figsize=(20, 5))
axs[0].bar(range(10000), np.mean(apple, axis=0))
axs[1].bar(range(10000), np.mean(pineapple, axis=0))
axs[2].bar(range(10000), np.mean(banana, axis=0))
plt.show()

 

순서대로 사과, 파인애플, 바나나 그래프입니다. 3개의 그래프를 보면 과일마다 값이 높은 구간이 다릅니다.

사과는 사진 아래쪽으로 갈수록 값이 높아지고, 파인애플 그래프는 비교적 고르면서 높습니다. 바나나는 확실히 중앙의 픽셀값이 높습니다.

 

픽셀 평균값을 100x100 크기로 바꿔서 이미지처럼 출력하여 위 그래프와 비교하면 더 좋습니다.

픽셀을 평균 낸 이미지는 모든 사진을 합쳐 놓은 대표 이미지로 생각할 수 있습니다.

apple_mean = np.mean(apple, axis=0).reshape(100, 100)
pineapple_mean = np.mean(pineapple, axis=0).reshape(100, 100)
banana_mean = np.mean(banana, axis=0).reshape(100, 100)

fig, axs = plt.subplots(1, 3, figsize=(20, 5))
axs[0].imshow(apple_mean, cmap='gray_r')
axs[1].imshow(pineapple_mean, cmap='gray_r')
axs[2].imshow(banana_mean, cmap='gray_r')
plt.show()

---

평균값과 가까운 사진 고르기

사과 사진의 평균값인 apple_mean과 가장 가까운 사진을 찾기 위해 절댓값을 계산해야 합니다.

 

NumPy의 abs() 함수는 절댓값을 계산하는 함수입니다. 예를 들어, np.abs(-1)은 1을 반환합니다.

배열을 입력하면 모든 원소의 절댓값을 계산하여 입력과 동일한 크기의 배열을 반환합니다. 이 함수는 np.absolute() 함수와 동일합니다.

 

다음 코드에서는 abs_diff가 (300, 100, 100) 크기의 배열입니다. 따라서 각 샘플에 대한 평균을 구하기 위해 axis에 두 번째와 세 번째 차원을 모두 지정했습니다. 이렇게 계산한 abs_mean은 각 샘플의 오차 평균이므로 크기가 (300,)인 1차원 배열입니다.

 

abs_diff = np.abs(fruits - apple_mean)
abs_mean = np.mean(abs_diff, axis=(1,2))
print(abs_mean.shape)

 

그다음, 이 값이 가장 작은 순서대로 10개를 골라보겠습니다. 즉, apple_mean과 오차가 가장 작은 샘플 100개를 고르는 것입니다. np.argsort() 함수는 작은 것에서 큰 순서대로 나열한 abs_mean 배열의 인덱스를 반환합니다.

이 인덱스 중에서 처음 100개를 선택해 10x10 격자로 이루어진 그래프를 그려보겠습니다.

apple_index = np.argsort(abs_mean)[:100]
fig, axs = plt.subplots(10, 10, figsize=(10,10))
for i in range(10):
    for j in range(10):
        axs[i, j].imshow(fruits[apple_index[i*10 + j]], cmap='gray_r')
        axs[i, j].axis('off')
plt.show()

 

흑백 사진에 있는 픽셀 값을 사용하여 과일 사진을 모으는 작업을 해보았습니다. 이렇게 비슷한 샘플끼리 그룹으로 모으는 작업을 군집화(clustering)이라고 합니다. 군집화는 대표적인 비지도 학습 작업 중 하나입니다. 군집화 알고리즘에서는 그룹을 클러스터(cluster)라고 부릅니다.

 

하지만 우리는 이미 사과, 파인애플, 바나나가 무엇인지 알고 있었기 때문에, 각 과일의 평균 픽셀 값을 계산하고 가장 가까운 과일을 찾을 수 있었습니다. 즉, 타깃값이 있었기 때문에 사과, 파인애플, 바나나의 사진 평균값을 미리 구할 수 있었던 것입니다.

 

실제 비지도 학습에서는 타깃값을 모르기 때문에 이처럼 샘플의 평균값을 미리 구할 수 없습니다. 비지도 학습에서는 데이터의 구조를 파악하고 비슷한 샘플들을 자동으로 그룹화하는 알고리즘을 사용하여 데이터를 분석합니다. 타깃값을 모르면서 세 과일의 평균값을 찾을수 있는 방법은, K-Mean 알고리즘을 이용하여 설명해볼수 있습니다. 다음글에서 설명해 보겠습니다.

 

---

Summary

 

• 비지도 학습: 머신러닝의 한 종류로, 훈련 데이터에 타깃이 없습니다. 타깃이 없기 때문에 외부의 도움 없이 스스로 유용한 무언가를 학습해야 합니다. 대표적인 비지도 학습 작업에는 군집화와 차원 축소가 있습니다.
• 히스토그램: 구간별로 값이 발생한 빈도를 그래프로 표시한 것입니다. 보통 x축은 값의 구간(계급), y축은 발생 빈도(도수)를 나타냅니다.
• 군집화: 비슷한 샘플끼리 하나의 그룹으로 모으는 대표적인 비지도 학습 작업입니다. 군집 알고리즘으로 모은 샘플 그룹을 클러스터라고 부릅니다.