gradient

🔥 PyTorch

[PyTorch] Torch.Autograd를 이용한 자동 미분

2024.07.30

⚠️ 본 내용은 PyTorch Korea의 공식 문서에 기반하여 공부한 내용을 적은것이니 양해바랍니다! torch.autograd를 사용한 자동 미분파이토치(PyTorch) 기본 익히기|| 빠른 시작|| 텐서(Tensor)|| Dataset과 Dataloader|| 변형(Transform)|| 신경망 모델 구성하기|| Autograd|| 최적화(Optimization)|| 모델 저장하고 불러오기 신경망을 학습할 때 가장tutorials.pytorch.kr torch.autograd를 사용한 자동 미분일반적으로 Neural Network(신경망)을 학습할 떄 가장 자주 사용되는 알고리즘은 Backpropagation(역전파)입니다.이 알고리즘에서, 매개변수(모델 가중치)는 주어진 매개변수에 대한 손실 함수..

🖥️ Deep Learning

[DL] Gradient (기울기), Training Algorithm(학습 알고리즘)

2024.03.23

Gradient (기울기) 만약에 x0, x1의 편미분을 동시에 계산하고 싶다면 어떻게 할까요? 그러면 모든 편미분을 벡터로 정리를 해야 하는데, 그 정리한것을 Grdient(기울기)라고 합니다. 예를 들어서 아래의 코드와 같이 구현할 수 있습니다. def numerical_gradient(f, x): h = 1e-4 grad = np.zeros_like(x) # x와 형상이 같은 배열을 생성 for idx in range(x.size): tmp_val = x[idx] # f(x+h) 계산 x[idx] = tmp_val + h fxh1 = f(x) # f(x-h) 계산 x[idx] = tmp_val - h fxh2 = f(x) grad[idx] = (fxh1 - fxh2) / (2*h) x[idx] = ..

[PyTorch] Torch.Autograd를 이용한 자동 미분

[DL] Gradient (기울기), Training Algorithm(학습 알고리즘)

티스토리툴바