[NLP] BPTT (Backpropagation Through Time)

BPTT (Backpropagation Through Time)

BPTT(Backpropagation Through Time)는 순환 신경망(RNN, Recurrent Neural Network)의 학습을 위해 사용되는 Backpropagation(역전파) 알고리즘의 확장 버전입니다.

• 여기서의 Backpropagation(오차역전파법)은?
• '시간 방향으로 펼친 신경망의 오차역전파법' 이란 뜻으로 BPTT(Backpropagation Through Time)이라고 합니다.

순환 구조를 펼친 RNN 계층에서의 Backpropagation(오차역전파법)

• 이 BPTT를 사용하면 RNN을 학습할 수 있습니다. RNN에 관한 개념은 아래의 글에 적어놓았으니 참고해 주시면 될거 같습니다.

[DL] RNN (Recurrent Netural Network) - 순환신경망

• 다만, 그전에 해결해야 할 문제가 있습니다. 그건 바로 긴 시계열 데이터를 학습할 때의 문제입니다.
• 시계열 데이터의 시간 크기가 커지는것에 비례하여 BPTT(Backpropagation Through Time)가 소비하는 컴퓨팅 자원이 증가하기 때문입니다.
• 또한 시간 크기가 커지면 Backpropagation(오차역전파)때의 Gradient(기울기)가 불안정해지는것도 문제입니다.

BPTT를 이용해 Gradient를 구하려면, RNN 계층의 중간 데이터를 메모리에 유지하면 안됩니다.
그러면 시계열 데이터가 증가하여, 계산량 & 메모리 사용량도 증가합니다.

---

Truncated BPTT

• 큰 시계열 데이터를 취급할 때엔 Neural Network(신경망)연결을 적당한 길이로 '끊습니다'.
• 너무 길어진 신경망을 적당한 지점에서 잘라내어서 작은 Neural Network(신경망)을 여러개 만듭니다.
• 그리고 이 잘라낸 작은 Neural Network(신경망)에서 Backpropagation(오차역전파법)을 수행합니다.
• 이것이 바로 Truncated BPTT라는 기법입니다.

Truncated - '잘린' 표현입니다. 따라서 적당한 길이로 잘라낸 Backpropagation(오차역전파법)이 되는것입니다.

• Truncated BPTT에서 Neural Network(신경망)의 연결을 끊습니다만, 제대로 구현하려면 'Backpropagation(역전파)'의 연결만 끊어야 합니다.
• Forward Propagation(순전파)의 흐름은 끊어지지 않고 전파됩니다.
• 한편, 'Backpropagation(역전파)'의 연결은 적당한 길이로 잘라내서, 그 잘라낸 Neural Network(신경망) 단위로 학습을 수행합니다.
• 그리고 앞에서도 설명했지만 시계열 데이터가 너무 길면 메모리 사용량, 계산쪽에서 문제가 생길 수 있습니다.
• 그리고 계층이 길어짐에 따라 Neural Network(신경망)을 하나 통과할 때 마다 Gradient(기울기)값이 조금씩 작아져서, 이전 시각 t로 Backpropagation(역전파)되기 전에 0이 되어 소멸될 수도 있습니다.
• 그래서 길게 뻗은 Neural Network(신경망)의 Backpropagation(역전파)는 연결을 적당한 길이로 끊어야 합니다.

Backpropagation(역전파)의 연결을 적당한 지점에서 끊습니다.

• 위의 그림처럼 Backpropagation(역전파)의 연결을 자르면, 미래의 데이터에 대해서는 생각할 필요가 없어집니다.
• 그래서 각각의 블록단위로, 독립적으로 Backpropagation(역전파)가 이루어집니다.
• 이때 Backpropagation(역전파)의 연결은 끊어지지만, Forward Propagation(순전파)는 연결 된다는 점입니다.
  • 이말은 데이터를 Sequential하게, 즉 순서대로 입력해야 한다는 것입니다.
• 이제 Truncated BPTT 방식으로 RNN을 학습(첫번쨰 Block data를 RNN 계층에 제공)시켜 보면, 아래와 같은 일이 일어납니다.

첫 번쨰 블록의 순전파 & 역전파: 이 블록 내에서는 오차역전파법이 완결된다.

• 그림에서 보듯, 먼저 Forward Propagation(순전파)를 수행한 다음, Backpropagation(역전파)를 수행합니다.
• 이러면 원하는 Gradient(기울기)를 구할 수 있습니다.
• 이처럼 다음 블록의 입력 데이터를 입력해 오차역전파법을 수행합니다.
• 이 실행 흐름은 아래의 그림에 나옵니다.

Truncated BPTT의 데이터 처리 순서

• 위의 그림처럼 Truncated BPTT는 데이터를 순서대로 입력해서 학습합니다.
• 이런 식으로 Forward Propagation(순전파)의 연결을 유지하면서, Backpropagation(역전파)를 적용할 수 있습니다.

---

Truncated BPTT의 Mini-Batch 학습

• Truncated BPTT 에서 Mini-Batch 학습시 원래대로 라면 구체적인 배치 방식을 고려해 위의 Truncated BPTT 데이터 처리 순서 처럼 데이터를 순서대로 입력해야 합니다.
• 그렇게 하려면 데이터를 주는 시작 위치를 각 Mini-Batch의 시작 위치로 '옮겨줘야' 합니다.

Mini-Batch 학습시 데이터를 제공하는 시작 위치를 각 Mini-Batch(각 샘플)로 옮긴다.

 

• 첫번쨰 Mini-Batch 원소를 X0, ... , X9가 되고, 두번쨰 Mini-Batch 원소는 X500, ... , X509가 됩니다.
• 그리고 이 Mini-Batch Data를 RNN의 입력 데이터로 사용해 학습을 수행합니다.
• 이후로는 순서대로 진행되므로 다음에 넘길 데이터는 각각 시계열 데이터의 10~19번째, 510~519번째 데이터가 되는 식입니다.
• 이처럼 Mini-Batch 학습을 수행할 때는 각 Mini-Batch의 시작을 Offset으로 옮겨준 후 순서대로 제공하고, 데이터를 순서대로 입력하다가 끝에 도달하면 다시 처음부터 입력하도록 합니다.

Truncated BPTT의 원리는 단순하지만, '데이터 제공 방법'에서는 주의해야 할 점이 있습니다.
데이터를 순서대로 제공하기, Mini-Batch별로 데이터를 제공하는 시작위치 옮기기 입니다.

---

Summary

• RNN의 순환 경로를 펼침으로써 다수의 RNN 계층이 연결된 신경망으로 해석할 수 있으며, 보통의 오차역전파법으로 학습할 수 있다 (=BPTT).
• 긴 시계열 데이터를 학습할 때는 데이터를 적당한 길이씩 모으고 (이를 ‘블록’이라 한다), 블록 단위로 BPTT에 의한 학습을 수행한다(=Truncated BPTT).
• Truncated BPTT에서는 역전파의 연결만 끊는다.
• Truncated BPTT에서는순전파의 연결을유지하기 위해 데이터를 ‘순차적’으로 입력해야 한다.