[DL] Perceptron (퍼셉트론)

Perceptron(퍼셉트론) 알고리즘은 신경망(딥러닝-DL)의 기원이 되는 알고리즘입니다.

• 그래서 Perceptron(퍼셉트론)의 구조를 배우는건 신경망, DL-딥러닝에 관한 개념 및 아이디어를 배우는데 도움이 됩니다.

Perceptron(퍼셉트론) 이란?

Perceptron(퍼셉트론)은 다수의 신호를 Input(입력)으로 받아 하나의 신호를 출력합니다.

• 여기서 신호는 전류나 강물처럼 흐름이 있는것을 생각하면 됩니다.
• Perceptron(퍼셉트론) 신호도 Flow(흐름)을 만들고 정보를 전달합니다.
• 다만, 신호는 '흐른다 / 안 흐른다 (1이나 0)'의 2가지 값을 가질 수 있습니다.

Perceptron(퍼셉트론)의 동작원리

입력이 2개인 Perceptron(퍼셉트론)

• 한번 Input(입력)으로 2개의 신호를 받은 Perceptron의 예시 그림입니다.
• x1, x2는 입력 신호, y는 출력 신호, w1, w2는 Weight(가중치)를 뜻합니다.
• 그림의 원을 Neuron(뉴런), Node(노드)라고 부릅니다.
• 입력 신호가 Neuron에 보내질때에, 각각의 고유한 Weight(가중치)가 곱해집니다. (w1 * x1, w2 * x2)
  • Neuron(뉴런)에서 보내온 신호의 총합이 정해진 한계를 넘어설 때만 1을 출력합니다. - 이는 뉴린이 활성화한다 라고 표현 하기도 합니다.
  • 또한 이 표현을 임계값(임계치)이라 하기도 하며, θ(세타)기호로 나타냅니다.
• 이 말을 수식으로 나타내면 아래의 수식과 같습니다.

Perceptron(퍼셉트론)의 수식

• Perceptron은 복수의 입력 신호 각각에 고유한 Weight(가중치)를 부여합니다.
• Weight(가중치)는 각 신호가 결과에 주는 영향력을 조절하는 요소로 작용합니다.
• 즉, 가중치가 클수록 해당 신호가 그만큼 더 중요함을 뜻합니다.

---

Perceptron Example

• 앞에서 Neuron(뉴런)에서 보내온 신호(Weight-가중치)의 총합이 임계값(임계치)를 넘으면 출력신호로서 1을 출력하고, 그렇지 않을 경우에는 0을 출력한다고 했습니다.
• 이때 이러한 함수를 계단 함수(Step Function)이라고 하며, 아래의 그래프는 계단 함수의 예시중 하나입니다.

• 이때 계단 함수에 사용된 이 임계치 값을 수식으로 표현할 때 θ(세타)로 표현합니다.
• 식으로 표현하면 아래와 같습니다.

 

• 위의 식에서 임계치를 좌변으로 넘기고 편향(bias) b로 표현할 수 있습니다.
• 여기서 편향(bias) b는 Perceptron(퍼셉트론)의 입력으로 사용됩니다.
• 보통는 input(입력)값이 1로 고정되고, 편향(bias) b로 곱해지는 변수로 표현됩니다.

• 보통 인공신경망을 나타내는 그림 or 수식에는 생략되어서 표현되기도 하지만, 실제로는 편향 b 또한 딥러닝을 하는 과정에서 최적의 값을 찾아야 할 변수입니다.

---

Single-Layer Perceptron(단층 퍼셉트론)

Perceptron(퍼셉트론)은 다층, 단층 퍼셉트론으로 나누어지는데, 먼저 단층 퍼셉트론을 보겠습니다.

• 보통 Single-Layer Perceptron(단층 퍼셉트론)은 2단계로 나뉘어집니다. 값을 보내는 단계, 값을 받아서 출력하는 단계.
• 이때 각 단계를 보통 층(Layer)이라고 하며, 2개의 층을 Input Layer(입력층), Output Layer(출력층)이라고 합니다.
• Single-Layer Perceptron(단층 퍼셉트론)은 컴퓨터에서 두개의 값 0, 1 을 입력해서 하나의 값을 출력하는 회로가 모여서 만들어 지는데, 이 회로를 게이트(Gate)라고 부릅니다.
• Single-Layer Perceptron(단층 퍼셉트론)으로 AND, NAND, OR 게이트가 구현이 가능합니다.
• 여기서 AND 게이트란 두개의 입력값 x1, x2가 각각 0 or 1의 값을 가질 수 있으면서 모두 1인 경우에만 출력값 y가 1이 나오는 구조를 말합니다.

좌: 단층 퍼셉트론 구조, 우: AND Gate 진리표

• Single-Layer Perceptron(단층 퍼셉트론)의 식을 통해서 AND Gate를 만족하는 2개의 Weight(가중치)와 Bias(편향)값은 각각 w1, w2, b 라고 하겠습니다.
• [w1, w2, b] 라고 하면 예를 들어서 [0.5, 0.5, -0.7], [0.5, 0.5, -0.8] 또는 [1.0, 1.0, -1.0] 등 이 외에도 다양한 가중치와 편향의 조합이 나올 수 있습니다.
• 한번 코드로 AND Gate 매개변수 값을 가진 Single-Layer Perceptron(단층 퍼셉트론)의 식을 Python 으로 구현해 보겠습니다.

AND Gate Single-Layer Perceptron Example Code

def AND_gate(x1, x2):
    w1, w2, b = 0.5, 0.5, 0.7
    result = x1*w1 + x2*w2
    if result <= b:
        return 0
    elif result > b:
        return 1

• 코드를 보면 w1, w2, b는 함수 안에서 초기화를 하고 Weight(가중치)를 곱한 입력의 총합이 임계값을 넘으면 1을 반환하고 그 외에는 0을 반환하게 코드를 작성하였습니다.
• 한번 함수에 AND Gate의 입력값을 다 넣어보면 2개의 입력값이 1인 경우에만 1을 출력합니다.

AND_gate(0, 0), AND_gate(0, 1), AND_gate(1, 0), AND_gate(1, 1)

(0, 0, 0, 1)

NAND Gate Single-Layer Perceptron Example Code

• NAND Gate를 살펴보겠습니다. NAND는 Not AND를 의미하며, 그 동작은 AND 게이트의 출력을 뒤집은 것이 됩니다.
• 그러면 두개의 입력값이 1인 경우에만 출력값이 0이 나옵니다. 한번 진리표랑 아래의 예시 코드를 보겠습니다.

NAND Gate 진리표

def NAND_gate(x1, x2):
    w1, w2, b = -0.5, -0.5, -0.7
    result = x1*w1 + x2*w2
    if result <= b:
        return 0
    elif result > b:
        return 1

NAND_gate(0, 0), NAND_gate(0, 1), NAND_gate(1, 0), NAND_gate(1, 1)

(1, 1, 1, 0)

OR Gate Single-Layer Perceptron Example Code

• OR Gate는 입력 신호중 하나 이상이 1이면 출력이 1이 되는 논리회로 입니다.

OR Gate의 진리표

• 한번 예시 코드를 보겠습니다.

def OR_gate(x1, x2):
    w1, w2, b = 0.5, 0.5, 0.7
    result = x1*w1 + x2*w2
    if result <= b:
        return 0
    elif result > b:
        return 1

OR_gate(0, 0), OR_gate(0, 1), OR_gate(1, 0), OR_gate(1, 1)

(0, 1, 1, 1)

---

Weight(가중치) & Bias(편향) 도입 및 구현하기.

• 아래의 식의 θ(세타)를 -b로 치환하면 Perceptron(퍼셉트론)의 동작이 아래의 식처럼 됩니다.

• 다시 설명하면 여기서 b는 bias(편향)이며, w1, w2는 Weight(가중치)입니다. 
• 식을 해석해보면 Perceptron(퍼셉트론)은 입력 신호에 Weight(가중치)를 곱한 값과 bias(편향)을 합하여 그 값이 0을 넘으면 1을 출력하고, 안그러면 0을 출력합니다.

# 식을 Python 인터프리터로 구현 및 결과 확인
>>> import numpy as np
>>> X = np.array([0, 1]) # 입력
>>> w = np. array([0.5, 0.5]) # 가중치
>>> b = - 0.7 # 편향
>>> w * x
array([ 0. , 0.5])
>>> np.sum(w * x)
0.5
>>> np.sum(w * x) + b
- 0.19999999999999996 # 대략 -0.2 (부동소수점 수에 의한 연산 오차)

• Numpy 배열끼리의 곱셈은 두 배열의 원소의 수가 같으면 각 원소끼리 곱합니다.
• 그래서 위의 w * x 에서는 Index가 같은 원소끼리 곱합니다.
• 그리고 np.sum()은 입력한 배열에 담긴 모든 원소의 총합을 계산합니다.
• 그리고 Weight(가중치)에 bias(편향)을 더하면 계산이 완료됩니다.

Weight & Bias 를 도입한 Gate Code (by Python)

AND Gate

def AND(x1, x2):
    x = np.arrray([x1, x2])
    w = np.arrray([0.5, 0.5])
    b = -0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

• 한번 설명을 해보자면, Weight(가중치) w1, w2는 각 입력신호가 결과에 주는 영향력(중요도)를 조절하는 매개변수이고,
• Bias(편향)은 Neuron(뉴런)이 얼마나 쉽게 활성화(즉, 결과를 1로 출력) 하느냐를 조정하는 매개변수 입니다.
• 예를 들어서 b(편향)이 -0.1이면 각 입력 신호에 가중치를 곱한 값들의 합이 0.1을 초과할 때만 뉴런이 활성화됩니다.

Bias(편향)이라는 용어는 '한쪽으로 치우쳐 균형을 깬다'라는 의미를 담고 있습니다. 

• 아래의 코드는 NAND 게이트와 OR 게이트를 구현한 코드입니다.

NAND Gate

# 가중치와 편향을 도입한 NAND Gate
def NAND(x1, x2):
    x = np.arrray([x1, x2])
    w = np.arrray([-0.5, -0.5])
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

OR Gate

# 가중치와 편향을 도입한 OR Gate
def OR(x1, x2):
    x = np.arrray([x1, x2])
    w = np.arrray([0.5, 0.5])
    b = -0.2
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

---

Perceptron의 한계 - XOR Gate

• XOR Gate는 베타적 논리합 이라는 논리회로 입니다.
• 아래의 XOR Gate의 진리표와 같이 x1, x2중 한쪽이 1일때만 1을 출력합니다.
  • (여기서 '베타적'이라는 의미는 자기 외에는 거부한다는 의미입니다.)

XOR Gate의 진리표

• 근데, 지금까지 본 Perceptron으로는 XOR Gate를 구현할 수 없습니다. 왜일까요?
• 이유는 XOR Gate는 입력값 2개가 서로 다른 값을 갖고 있을때만, 출력값이 1이 되고, 같으면 0이 되기 때문입니다.
• OR 게이트의 동작을 시각적으로 보면서 한번 설명해보겠습니다.
• Weight(가중치) Parameter(매개변수)가 [b, w1, w2]가 (-0.5, 1.0, 1.0)일때, OR Gate의 진리표를 만족합니다.
• 이때의 Perceptron의 식은 아래의 식으로 표현됩니다.

좌: OR Gate의 진리표, 우: OR Gate의 퍼셉트론 식

• 아래의 Perceptron은 직선으로 나뉜 두 영역을 만듭니다.
• 직선을 기준으로 한쪽은 1을, 다른 한쪽은 0을 출력합니다. 시각화 해보면 아래의 그림과 같습니다.

좌: Perceptron를 시각화 한 그림. 우: OR Gate의 진리표

• 그림에서는 출력값 0을 하얀색 원, 1을 검은색 원으로 표현했습니다.
• OR Gate는 (x1, x2) = (0, 0)일때 0을 출력하고, (0, 1), (1, 0), (1, 1)일때 1을 출력합니다.
• OR Gate를 만들려면 0, 1을 직선으로 나누어야 합니다.
• 또한 AND Gate, Nand Gate를 시각화 했을때에도 직선으로 나누는것이 가능합니다.

좌: AND Gate 시각화, 우: Nand Gate 시각화

• 그러면 XOR Gate는 어떨까요? OR Gate때 처럼 직선으로 0, 1의 값을 나누는것이 가능할까요?
• 한번 XOR Gate를 한번 시각화 해보겠습니다.

좌: XOR Gate 시각화, 우: XOR Gate 진리표

• 출력값 0을 하얀색 원, 1을 검은색 원을 직선 하나로 나누는것은 불가능하므로 단층 Perceptron(퍼셉트론) 으로 XOR Gate를 구현할 수 없습니다.
• 근데 단층 Perceptron(퍼셉트론)에서 꼭 '직선'이라는 제약을 없앤다면 가능합니다. 곡선이라면 어떨까요?

단층 퍼셉트론을 곡선으로 시각화.

• Perceptron(퍼셉트론)은 직선 하나로 나눈 영역만 표현할 수 있다는 한계가 있습니다. 곡선은 표현할수 없다는것이죠.
• 그래서 위의 Perceptron(퍼셉트론)을 곡선으로 시각화 한 그림을 보면, 같은 곡선의 영역을 비선형 영역, 직선의 영역을 선형 영역 이라고 합니다.

---

Multi-Layer Perceptron,  MLP(다층 퍼셉트론)

• XOR Gate는 기존의 AND, NAND, OR Gate를 조합하면 만들 수 있습니다.
• Perceptron(퍼셉트론)의 관점에서 보면 층을 더 쌓으면 만들 수 있습니다.
• Single-Layer Perceptron(단층 퍼셉트론), Multi-Layer Perceptron(다층 퍼셉트론)의 차이를 보면 단층 퍼셉트론은 Input Layer(입력층), Output Layer(출력층)만 존재하지만, 다층 퍼셉트론은 중간에 층을 더 추가하였다는 점입니다.
• 이렇게 Input Layer(입력층), Output Layer(출력층)사이에 존재하는 층을 Hidden Layer(출력층) 이라고 합니다.
• 즉, Multi-Layer Perceptron(다층 퍼셉트론)은 중간에 Hidden Layer(출력층)이 존재한다는 점이 Single-Layer Perceptron(단층 퍼셉트론)과 다릅니다. 

기존 Gate 조합하기

• 앞에서 본 XOR Gate를 한번 만을어보겠습니다.
• 만드는 방법중에 하나인 AND, NAND, OR Gate를 조합하는 방법입니다. 한번 Gate들의 기호를 한번 보겠습니다.

AND, NAND, OR Gate 기호

• 그러면 여기서 XOR 게이트를 만들려면 어떻게 조합하면 될까요?
• 아래와 같은 조합이면 XOR Gate를 조합할 수 있습니다. x1, x2가 입력신호, y가 출력신호 입니다.
• x1, x2는 NAND와 OR Gate의 입력이 되고, NAND와 OR의 출력이 AND Gate의 입력으로 이어집니다.

XOR Gate

• 위의 그림이 정말로 XOR Gate를 구현하는지 살펴 보겠습니다.
• NAND의 출력을 x1, OR의 출력을 x2로 해서 진리표를 만들면 아래의 진리표 처럼 나옵니다.
• x1, x2, y에 주목하면 분명히 XOR의 출력과 같습니다.

XOR Gate의 진리표

XOR Gate 구현하기

• XOR Gate를 Python으로 구현해보겠습니다.
• 지금까지 정의한 함수 AND, NAND, OR Gate 코드를 사용하면 다음과 같이 구현할 수 있습니다.
• AND, NAND, OR Gate 코드는 위에 있으니까 가져와서 하셔야 합니다.

ef XOR(x1, x2):
    s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    y = AND(s1, s2)
    return y

• 이 XOR 함수는 기대한 대로의 결과를 출력합니다.

XOR(0, 0) # 0을 출력
XOR(1, 0) # 1을 출력
XOR(0, 1) # 1을 출력
XOR(1, 1) # 0을 출력

• 이 구현한 XOR Gate를 뉴런을 이용한 Perceptron(퍼셉트론)으로 표현하면 아래의 그림처럼 됩니다.

XOR의 Perceptron(퍼셉트론)

• XOR은 다층 구조의 Network입니다. 왼쪽에서 순서대로 0층, 1층, 2층이라고 하겠습니다.
• 근데, 보면 AND, OR가 단층 Perceptron(퍼셉트론)의 형태를 하고 있는데, XOR는 2층 Perceptron(퍼셉트론)입니다.
• 이처럼 층이 여러개인 Perceptron(퍼셉트론)을 다층 Perceptron(퍼셉트론)이라고 합니다.
• 그리고 Perceptron(퍼셉트론)은 층을 쌓아(깊게 하여) 더 다양한 것을 표현할 수 있습니다. 즉 단층 Perceptron(퍼셉트론)으로는 표현하지 못한걸 층을 늘려서 다층 Perceptron(퍼셉트론)으로 구현 할 수 있습니다.

순서를 자세히 서술하면
1. 0층의 두 뉴런이 입력신호를 받아 1층의 뉴런으로 보낸다.
2. 1층의 뉴런이 2층의 뉴런으로 신호를 보내고, 2층의 뉴런은 y를 출력한다.

---

Deep Neural Network, DNN(심층 신경망)

• Hidden Layer(은닉층)이 2개 이상, 뉴런의 개수를 늘린 신경망을 Deep Nerual Network(심층 신경망, DNN)이라고 합니다.
• 심층 신경망은 Multi-Layer Perceptron(퍼셉트론)으로만 얘기 하는것이 아니라, 여러 변형된 신경망들도 Hidden Layer(은닉층)이 2개 이상이 되면 Deep Nerual Network(심층 신경망, DNN) 이라고 합니다.

Deep Nerual Network(심층 신경망, DNN)

• 만약에 학습을 시키는 인공신경망이 Deep Nerual Network(심층 신경망, DNN)인 경우에는, 심층 신경망을 학습시킨다고 해서 Deep Learning(딥러닝)이라고 합니다.