[혼공머신] 데이터 전처리 [데이터 다루기]

데이터 전처리란?

• 데이터 전처리는 쉽게 말하자면 모든 인공지능 모델에 데이터를 주입하기 전에, 데이터를 넣기 좋게 가공하는 단계를 말합니다.
• 올바른 결과를 도출하기 위하여 데이터를 사용하기 전에 데이터 전처리 과정을 거칩니다.

Numpy로 Data 준비하기

• 한번 데이터를 준비 해보겠습니다. 전에 사용했던 도미, 빙어 데이터를 준비해 보았습니다.

# 생선의 길이
fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
# 생선의 무게
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

import numpy as np
fish_data = np.column_stack((fish_length, fish_weight))

여기서 column_stack() 함수를 볼 수 있습니다. Numpy의 column_stack() 함수는 전달받은 리스트를 일렬로 세운 다음 차례대로 나란히 연결합니다. 한번 예시를 들어보겠습니다. 이렇게 2개의 리스트를 나란히 붙여서 튜플(tuple)형태로 전달합니다.

np.column_stack(([1,2,3], [4,5,6]))

array([[1, 4],
           [2, 5],
           [3, 6]])

• 이렇게 한번 fish_length와 fish_weight를 합쳐보겠습니다. 방법은 동일합니다.

# column_stack: 전달받은 리스트를 일렬로 세운 후, 차례대로 나란히 연결
fish_data = np.column_stack((fish_length, fish_weight))
print(fish_data[:5])

• 살행해 보셨으면 아시겠지만, Numpy 배열을 출력하면 리스트처럼, 한줄로 길게 출력되지 않고, 행과 열을 맞추어서 가지런한 모습으로 보여줍니다.
• 전에는 원소가 하나인 list [1], [0]을 여러번 곱해서 Target Data를 만들었는데, Numpy에는 더 좋은 방법이 있습니다. 바로 np.ones() 와 np.zeros() 함수를 사용하는 것입니다. 이 두 함수는 각각 원하는 개수의 1과 0을 채운 배열을 만들어줍니다.

print(np.ones(5))
# [1,1,1,1,1]

• 이렇게, 두함수를 사용해 1이 35인 배열과 0이 14인 배열을 만들수 있습니다. 이제 이 두 배열을 그대로 연결하면 되는데, 첫번째 차원을 따라 배열을 연결하는 np.concatenate()함수를 사용해 보겠습니다.

np.column_stack() 함수와 np.concatenate() 함수의 연결방식

이제, np.concatenate()함수를 사용해서 Target data를 만들어 보겠습니다.
마찬가지로, 연결한 list나 array도 튜플로 연결해야 합니다.

# target data 만들기: concatenate 함수를 이용하여 2개의 배열을 하나로 결합
fish_target = np.concatenate((np.ones(35), np.zeros(14)))
print(fish_target)

[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]

• 이 경우는 데이터가 작기 때문에 잘 보이지는 않지만, 만약에 데이터가 큰 경우는 Python list로 작업하는건 비효율적입니다. 이래서 Numpy 배열을 사용하는 것이 좋습니다.

Scikit-learn으로 Training_set와 Test_set 나누기

• 전에는 Numpy 배열의 index를 직섭 섞어서 training_set, test_set를 나누었지만, 이 방법은 번거러우므로, 좀 더 세련된 방법을 사용해 보겠습니다.
• Scikit-learn은 머신러닝(ML) 모델을 위한 알고리즘 뿐만 아니라, 다양한 도구를 제공합니다. 대표적으로 이제 사용해 볼 train_test_split()함수 입니다. 이 함수는 전달되는 리스트나 배열을 비율에 맞춰서 training_set와 test_set로 나누어 줍니다.

# scikit_learn으로 data 나누기
# fish_data, fish_target data 를 데이터 세트를 훈련 세트와 테스트 세트로 분할
from sklearn.model_selection import train_test_split

# stratify=fish_target: 분할 시 클래스의 비율을 유지(분류 작업시 일반적으로 사용)
# random_state=42: 랜덤성을 제어 (데이터 분할이 동일하게 유지)
train_input, test_input, train_target, test_target = train_test_split(fish_data, fish_target, stratify=fish_target, random_state=42)

 

• 한번 Numpy 배열의 shape 속성을 이용해서 입력데이터의 크기를 출력해 보겠습니다.

print(train_input.shape, test_input.shape)
# (36,2) (13,2)
print(train_target.shape, test_target.shape)
# (36.) (13.)

• 보니까, 이전에 본 샘플링 편향이 조금 나타났습니다.
• 이렇게 무작위로 나누었을 때, sample이 골고루 섞이지 않을 수 있습니다. 특히, 일부 클래스의 개수가 적을 때, 주로 이런일이 생깁니다. 
• Training_set와 Test_set의 클래스 비율이 일정하지 않으면 모델이 일부 샘플을 올바르게 학습할 수 없습니다.
• 이럴때, stratify 매개변수에 타겟 데이터를 전달하면 클래스 비율에 맞게 데이터를 나눌수 있습니다. 한번 적용해 보겠습니다.

수상한 도미 한마리

• 앞에서 준비한 데이터로 K-최근접 이웃을 훈련해 보겠습니다. 훈련 데이터로 모델을 훈련하고 테스트 데이터로 모델을 평가합니다.

# 수상한 도미 찾기 시작
# k-최근접 이웃
from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(train_input, train_target) 
kn.score(test_input, test_target)

• 훈련을 시키고, 도미 데이터(1)를 넣고 결과를 확인하면 당연히 도미(1)이 나와야 합니다. 근데..?

print(kn.predict([[25, 150]]))
# 도미 찾아야 하는데 빙어가 나옴(0)

• 하지만, 빙어 데이터(0)이 나옵니다.

뭐가 문제인지 알아 보기 위해서 한번 산점도 그래프를 그려보겠습니다.

import matplotlib.pyplot as plt

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^') # marker 매개변수는 모양을 지정합니다.
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

• 그래프를 보면, 이 sample은 분명히 오른쪽 위로 뻗어 있는 다른 도미 데이터에 더 가까운걸 볼 수 있습니다. 왜 그렇게 판단 했을까요?
• K-최근접 이웃은 주변의 Sample중 다수인 클래스를 예측으로 사용합니다. KNeighborsClassifier 클래스는 주어진 샘플에서 가장 가까운 이웃을 찾아 주는 kneighbors() Method를 사용합니다. 이 Method는 이웃까지의 거리와 이웃 Sample의 index로 반환합니다.

이제, indexes 배열을 사용해 이웃(Neighbors)샘플을 따로 구분해서 그려보겠습니다.

distances, indexes = kn.kneighbors([[25, 150]])

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker='D') #indexes: 배열 indexing
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

기준을 맞춰라

• 한번 그래프를 보겠습니다. 그래프를 보면, 거리상으로 도미와 가장 가까운 샘플은 92이고, 그외 가장 가까운 샘플들은 모두 130, 138입니다. 근데 약간 거리의 비율이 이상하지 않나요?
• 이유는 x축은 범위가 좁고(10~40), y축은 범위가 넓습니다(0~1000). 그니까 y축으로 조금만 멀어져도 거리가 아주 큰 값으로 계산됩니다. 
• 이를 확인하기 위해서, x축의 범위를 동일하게 0~1000으로 맞추어서 보겠습니다. 그러려면 x축 범위를 지정을 해야 하는데, xlim() 함수를 이용해서 할 수 있습니다.

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker='D') #indexes: 배열 indexing
plt.xlim((0,1000)) # 축의 범위(scale)를 지정할수 있는 method
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

# answer: 무게가 생선을 구분하는데 큰 영향을 미침, 길이는 거이 미치는 영향 없음.
# k-최근접 이웃 알고리즘은 가장 가까운 주변 sample을 찾기 때문에, 특성의 거리가 다르면 문제가 될수도. -> 두 샘플에 scale을 맞춰줘야 하는 알고리즘을 찾아야함.

• 산점도가 거이 일직선으로 나타나는데, x축과 y축의 범위를 동일하게 맞추었기 때문입니다. 이러면 y축(생선의 무게)만 고려 대상이 됩니다.
• 두 특성(길이와 무게)의 값이 놓인 범위가 매우 다를때, 이를 두 특성의 스케일(scale)이 다르다고 합니다.
• 이건, 알고리즘이 거리 기반일때, 특히 그렇습니다. 여기선 K-최근접 이웃도 포함됩니다. 이런 알고리즘들은 샘플 간의 거리에 영향을 많이 받으므로 제대로 사용하려면 특성값을 일정한 기준으로 맞춰줘야 합니다. 이러한 작업을 데이터 전처리라고 합니다.
• 가장 많이 사용하는 전처리 방법중 하나는 표준점수(Standard Score, 혹은 z 점수)라고 하고, 각 특성값이 평균에서 표준편차의 몇 배만큼 떨어져 있는지를 나타냅니다.
• 계산하는 방법은 평균을 빼고 표준편차를 나누어 주면 됩니다. Numpy는 편리하게 이 두 함수를 모두 제공합니다.

# 표준 점수로 봐꾸는것 -> 일반적으로 많이 쓰는 전처리 방법
# axis = 0: 이건 특성마다 값의 scale이 다르므로, 평균 & 표준편차는 각 특성별로 계산 & 연산이 각 열에 대해 수행되어야 함
# mean: 평균, std: 표준편차
mean = np.mean(train_input, axis = 0)
std = np.std(train_input, axis = 0)

• 이렇게 하면, 행을 따라 각 열의 통계 값을 계산합니다.

• 평균과 표준 편차를 계산하고, 원본 데이터에서 평균을 빼고 표준편차로 나누어서 표준 점수로 반환 하겠습니다.

train_scaled = (train_input - mean) / std  # 표준 편차로 반환

• 근데, 이 식은 어떻게 계산이 되는 것일까요? 이러한 Numpy의 기능을 Broadcasting(브로드캐스팅)이라고 합니다.

요약하면, 배열 연산을 수행할 때 발생하는 특별한 메커니즘입니다. 이것은 서로 다른 shape의 배열 간에 연산을 수행할 때 자동으로 작은 배열을 큰 배열의 크기에 맞춰 연산을 수행하는 것을 의미합니다.

• 여기서는 train_input의 모든 행에서 평균(mean)에 있는 두 평균값을 빼고 표준편차(std)에 있는 두 표준편차를 다시 모든 행에 적용시키는 방식입니다.

전처리 데이터로 모델 훈련하기

• 앞에서 표준점수로 변환한 train_scaled를 만들었으므로, 한번 다시 산점도 그래프를 그려보겠습니다.

# Numpy Broadcasting
new = ([25, 150] - mean) / std

plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

• 여기서 나타나는건 표준편차로 변환 하기 전의 산점도와 거이 동일합니다. 기존의 산점도 그래프와 다른점은 x축과 y축의 범위가 -1.5~1.5 사이로 봐뀌었다는 것입니다.
• 그리고, 훈련 데이터의 두 특성이 비슷한 범위를 차지하고 있다는것이 특징입니다. 이제, 다시 이 Dataset으로 K-최근접 이웃 모델을 다시 훈련을 시키고 모델을 평가 보겠습니다.

kn.fit(train_scaled, train_target)

test_scaled = (test_input - mean) / std
kn.score(test_scaled, test_target)

# 결과값: 1.0

• 이렇게 모든 테스트 세트의 샘플을 완벽하게 분류하고, 정확도가 1.0 (100%)가 나왔습니다.
• 한번 샘플을 사용해서 모델의 예측을 출력해보겠습니다.

print(kn.predict([new]))
# [1.]

• 1이 나오면 도미(1)로 예측했습니다. 확실히 길이가 25cm이고 무게가 150g인 생선은 도미일 것입니다.
• 마지막으로 kneighbors() 함수로 함수의 k-최근접 이웃을 구한 다음, 산점도 그래프로 그려보겠습니다.
• 특성을 표준점수화 했기 때문에 k-최근접 이웃 알고리즘이 올바르게 거리를 측정했을 것입니다.

# sample에서 가장 가까운건 도미
distances, indexes = kn.kneighbors([new])
plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.scatter(train_scaled[indexes,0], train_scaled[indexes,1], marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

---

Keywords

데이터 전처리

• 머신러닝 모델에 훈련 데이터를 주입하기 전에 가공하는 단계를 말합니다. 때로 데이터 전처리에 많은 시간이 소모되기도 합니다.

표준점수

• Training_set의 스케일을 봐꾸는 대표적인 방법중 하나입니다. 표준점수를 얻으려면, 특성의 평균을 빼고 표준편차로 나눕니다. 반드시 훈련세트의 평균과 표준편차로 테스트 세트를 봐꿔야 합니다.

브로드캐스팅

• 크기가 다른 넘파이 배열에서 자동으로 사칙 연산을 모든 행이나 열로 확장하여 수행하는 기능입니다.

핵심 패키지와 함수

Scikit-learn

• train_test_split()은 훈련 데이터를 훈련 세트와 테스트 세트로 나누는 힘수입니다. 여러 개 의 배열을 전달할 수 있습니다. 테스트 세트로 니눌 비율은 test_size 매개변수에서 지정할 수 있으며 기본값은 0.25(25%)입니다.
• shuffle 매개변수로 훈련 세트와 테스트 세트로 나누기 전에 무작위로 섞을지 여부를 결정할 수 있습니다. 기본값은 True입니다. stratify 매개변수에 클래스 레이블이 담긴 배열(일반적 으로 타깃 데이터)을 전달하면 클래스 비율에 맞게 훈련 세트와 테스트 세트를 나둡니다.

 

• kneighbors()는 k-최근접 이웃 객체의 메서드입니다. 이 메서드는 입력한 데이터에 가 장 가까운 이웃을 찾아 거리와 이웃 샘플의 인텍스를 반환합니다. 기본적으로 이웃의 개수 는 KNeighborsClassifier 클래스의 객체를 생성할 때 지정한 개수를 사용합니다. 하지만 n_neighbors 매개변수에서 다르게 지정할수도 있습니다.
• return_distance 매개변수를 False로 지정하면 이웃 샘플의 인텍스만 반환하고 거리는 반환 하지 않습니다. 이 매개변수의 기본값은 True입니다.