올바른 학습을 위해 Machine Learning에서 Overfitting이 되는 일이 많습니다. Overiftting(오버피팅)은 신경망이 Training data(훈련 데이터)에만 지나치게 적용되어서 그 외의 데이터에는 제대로 대응하지 못하는 상태입니다.Overfitting (오버피팅)오버피팅은 매개변수가 많고 표현력이 높은 모델인 경우, 훈련데이터가 적은 경우에 주로 일어납니다.이 두 요건을 충족하여 Overiftting(오버피팅)을 일으켜 보겠습니다.MNIST Dataset의 훈련데이터중 300개만 사용하고, 7-Layer Network를 사용해서 Network의 복잡성을 높혀보겠습니다.각 Layer의 Neuron은 100개, Activation Function(활성화 함수)는 ReLU 함수를 사..
Feed-Forward Network Feed-Forward Networks는 가장 기본적인 인공 신경망 구조중 하나로, Input Layer(입력층)에서 Output Layer(출력층)으로 데이터가 순방향으로 흐르는 구조를 의미합니다. 여기서 Data는 각 Layer(층)을 지날 때마다 가중치에 의해 변환되고, Activation Function(활성화 함수)를 통해 다음 Layer(층)으로 전달됩니다 이러한 네트워크는 순환 연결이나 복잡한 Feedback 루프가 없어서 계산이 비교적 간단하고, 다양한 문제에 적용될 수 있습니다. 정리하자면, 데이터가 네트워크를 통해 한 방향으로만 흐른다는 것을 의미합니다. 입력 데이터는 Input Layer(입력층)에서 시작하여 Hidden Layer(은닉층)을 거쳐..
이번글에서는 단순한 Layer 부터 한번 구현해 보겠습니다. 앞의 글에서본 계산 그래프의 곱셈 노드를 'MultiLayer', 덧셈 노드를 'AddLayer'라는 이름으로 구현합니다. 곱셈 계층 모든 계층은 forward()와 backward()라는 공통의 Method(인터페이스)를 갖도록 구현합니다. forward()는 Forward Propagation(순전파), backward()는 Back propagation(역전파)를 처리합니다. 한번 구현해 보겠습니다. # coding: utf-8 class MulLayer: def __init__(self): self.x = None self.y = None # x와 y를 인수라 받고 두 값을 곱해서 반환 def forward(self, x, y): sel..
이번에는 Neural Network(신경망) 학습에 대하여 설명하고 Pyhon에서 Mnist Dataset의 손글씨 숫자를 학습하는 코드를 구현해 보겠습니다. Data 주도 학습 Machine Learning(ML)의 중심에는 Data(데이터)가 존재합니다. 데이터가 이끄는 접근 방식 덕에 사람 중심 접근에서 벗어날 수 있습니다. 근데, 보통 문제를 해결하려고 하면 패턴을 찾아내기 위하여 사람은 생각을 하고 결론을 도출합니다. 다만 Machine Learning(기계 학습)에서는 사람의 개입을 최소화하고, 수집한 데이터의 패턴을 찾으려고 시도합니다. 그리고 Neural Network(신경망) & DL(딥러닝)은 기존 Machine Learning(기계 학습)에서 사용하던 방법보다 사람의 개입을 배제할 수..
What is Matplotlib? Matplotlib은 딥러닝 실험을 할때 그래프 그리기 및 데이터를 시각화 해주는 라이브러리입니다. Matplotlib을 사용하면 그래프 그리기, 데이터 시각화가 쉬워지고, 주로 데이터 분석을 할때 사용합니다. 대표적으로는 선, 막대 그래프, 산점도, 히스토그램 등을 만들수 있습니다. Matplotlib을 이용하여 그래프 그려보기 그래프를 그릴려면 Matplotlib 라이브러리의 Pyplot 모듈을 이용합니다. 한번 sin(사인) 함수를 그리는 예를 한번 살펴 보겠습니다. import numpy as np import matplotlib.pyplot as plt # 데이터 준비 x = np.arange(0, 6, 0.1) # 0부터 6까지 0.1 간격으로 생성 y = ..
