Deep Learning Model Optimization (딥러닝 모델 최적화) 기법에 데하여 설명해 보겠습니다. 딥러닝 모델의 성능을 극대화하기 위해서는 다양한 하이퍼파라미터를 최적화해야 합니다. 각 하이퍼파라미터는 모델의 학습 과정에 중요한 영향을 미치며, 적절한 설정이 필요합니다. 아래는 주요 하이퍼파라미터와 그 설정 방법에 대한 상세한 정리입니다. 딥러닝 모델 최적화를 위한 하이퍼파라미터 정리1. 학습률 (Learning Rate)정의: 학습률은 경사 하강법에서 가중치가 업데이트되는 크기를 결정하는 하이퍼파라미터입니다.영향:높은 학습률: 학습 속도가 빨라질 수 있지만, 손실 함수가 최솟값에 도달하지 못하고 발산할 위험이 있습니다.낮은 학습률: 학습 속도는 느려지지만, 손실 함수가 더 안정적으로 ..
논문을 계속 읽어야지 읽어야지 생각하다가.. 용기를 내어서 한번 읽어본 내용을 코드로 구현해 보겠습니다.VGGNet Review논문 리뷰한 내용은 아래 링크에 달아놓겠습니다! [Paper Review] VGGnet Review논문을 계속 읽어야지 읽어야지 생각하다가.. 용기를 내어서 한번 읽어본 내용을 정리해보겠습니다. VGGNet Paper (2014)VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION.논문 사이트 링크는 아래daehyun-bigbread.tistory.comVGGNet Architecture 그러면 한번 VGGNet을 코드로 한번 구현을 하보겠습니다. - D열의 모델(VGG16)을 구현해보았습니다.image input..
Gradient (기울기) 만약에 x0, x1의 편미분을 동시에 계산하고 싶다면 어떻게 할까요? 그러면 모든 편미분을 벡터로 정리를 해야 하는데, 그 정리한것을 Grdient(기울기)라고 합니다. 예를 들어서 아래의 코드와 같이 구현할 수 있습니다. def numerical_gradient(f, x): h = 1e-4 grad = np.zeros_like(x) # x와 형상이 같은 배열을 생성 for idx in range(x.size): tmp_val = x[idx] # f(x+h) 계산 x[idx] = tmp_val + h fxh1 = f(x) # f(x-h) 계산 x[idx] = tmp_val - h fxh2 = f(x) grad[idx] = (fxh1 - fxh2) / (2*h) x[idx] = ..
