truncated bptt의 mini-batch 학습

📝 NLP (자연어처리)/📕 Natural Language Processing

[NLP] BPTT (Backpropagation Through Time)

BPTT (Backpropagation Through Time)BPTT(Backpropagation Through Time)는 순환 신경망(RNN, Recurrent Neural Network)의 학습을 위해 사용되는 Backpropagation(역전파) 알고리즘의 확장 버전입니다.여기서의 Backpropagation(오차역전파법)은?'시간 방향으로 펼친 신경망의 오차역전파법' 이란 뜻으로 BPTT(Backpropagation Through Time)이라고 합니다.이 BPTT를 사용하면 RNN을 학습할 수 있습니다. RNN에 관한 개념은 아래의 글에 적어놓았으니 참고해 주시면 될거 같습니다. [DL] RNN (Recurrent Netural Network) - 순환신경망1. RNN 이란?RNN은 Sequ..

Bigbread1129
'truncated bptt의 mini-batch 학습' 태그의 글 목록