[NLP] LSTM - Long Short Term Memory Model

1. LSTM Model은 무엇일까?

LSTM은 Long Short-Term Memory의 약자입니다. RNN - Recurrent Neural Network (순환 신경망)의 문제인 Long-Term Dependency (장기 의존성) 문제를 해결하기 위해 제안된 모델입니다.

• 기존의 RNN(순환 신경망)모델은 시간 & 공간적 패턴을 학습하고 예측하는데 유용합니다. 그래서 순차적인 데이터를 처리하는데에는 강점이 있는 모델입니다.
• 다만 Long-Term Dependency(장기 의존성) 문제가 있어서 긴 Sequence의 데이터를 처리하는데 어려움이 있습니다.
  • Long-Term Dependency(장기 의존성)에 대한 설명은 아래의 글에 적혀있으니까 참고해주세요.

[NLP] Vanilla RNN Model, Long-Term Dependency - 장기 의존성 문제

• 그리고 LSTM 모델은 기존에 RNN 모델과는 다른점은 Gradient Flow에 Weight(가중치)가 곱해지지 않도록 모델의 구조를 변경했습니다.

• 이유는 기본적인 RNN의 모델의 학습 문제인 Gradient Vanishing(그래디언트 소실)문제를 해결하기 위해서 입니다.
• 기본 RNN Model은 Backpropagation(역전파) 과정에서 Gradient(기울기)가 시간을 거슬러 올라가면서 w가 곱해집니다.
• 이 문제로 인해서 만약 Time-step이 길어지면,  Gradient(기울기)가 0에 가까워집니다.
  • 결국, Network가 이전 Time-step의 정보를 잘 기억 못한다는 Gradient loss(기울기 손실) 문제가 발생합니다.
• 그래서 Gradient loss(기울기 손실) 문제를 해결 하기 위해서 "Uninterrupted Gradient flow" 즉, Gradient(기울기)가 신경망을 통해 원활하게 흐를수 있게 해줘야 합니다.

 Tip. Gradient를 원활히 흐르게 하는 방식이 ResNet의 Residual Connection과 유사합니다.
* Residual Connection:  ResNet의 핵심 개념중 하나이자 신경망의 학습을 돕는 연결 방식입니다.

ResNet의 Residual Connection

• 그래야 Gradient loss(기울기 손실) 문제 없이 Backpropagation(역전파)과정이 잘 이루어 질수 있기 때문입니다.

---

2. LSTM 모델의 구조

LSTM 모델은 어떠한 구조로 이루어져 있고, 어떠한 방식으로 작동하는지 한번 알아보겠습니다.

• LSTM 모델은 장기 기억과 단기 기억이 새로운 Event와 합쳐저셔 갱신되는 방식으로 진행됩니다.
• 장기 기억은 오래 지속되도록, 단기 기억은 최근 사건을 중심으로 기억하도록 기억이 형성되는 과정이 분리된 구조를 가집니다.
  • 그리고 장기 기억은 "Cell State", 단기 기억은 "Hidden state" 상태를 가집니다. Cell State & Hidden state의 대한 설명은 아래에서 하도록 하겠습니다.

LSTM 모델의 대략적인 구조.

이번에는 한번 LSTM 모델의 자세한 구조에 대하여 한번 봐보겠습니다.

LSTM 모델의 자세한 구조.

근데, 모델의 구조를 보면, "Gate"라는 개념이 있습니다. 한번 설명을 해보면
LSTM 모델은 Long-Term Dependency(장기 의존성)을 해결하기 위해서 'Cell State (셀 상태)' 라는 개념이 존재합니다.

• "Cell State (셀 상태)"는 LSTM Model에서 각 Cell에서 유지되는 'Memory' 라는 개념으로 존재합니다.
• 이를 통해서 LSTM Model은 정보를 계속 가지고 있거나 필요없는 정보를 버릴 수 있습니다. 이는 "Gate(게이트)" 라는 구조로 조절됩니다.
• LSTM 모델은 4종류의 Gate를 가지고 있습니다. 각 "Gate"는 어떠한 역할을 하는지 한번 설명해 보겠습니다.

1. 망각 게이트 (Forget Gate)
2. 기억 게이트 (Remember Gate)
3. 입력 게이트 (Input Gate)
4. 출력 게이트 (Output Gate)

---

Forget Gate (망각 게이트)

Forget Gate (망각 게이트)는 장기 기억중 Cell State (셀 상태) 에서 어떠한 정보를 제거할지를, 어떠한 정보를 기억할지를 선택합니다.

• 과거의 정보중 필요하지 않은 부분을 Cell State (셀 상태)에서 제거하여, 신경망이 필요한 정보만을 유지 할 수 있도록 돕는 역할을 합니다.

Forget Gate(망각 게이트)의 작동방식은 아래와 같습니다.

1. 현재의 input값과 이전의 hidden state(숨겨진 상태)가 Forget Gate(망각 게이트)로 전달됩니다.
2. 현재의 input값, hidden state(숨겨진 상태)는 Weight(가중치)와 Bias(편향)으로 조정된후, Sigmoid 함수를 통과합니다. 이 Sigmoid 함수는 0~1 사이의 값을 출력하며, 출력값이 어떤 정보를 'Forget' 즉, '망각' 할지를 결정합니다.
3. Sigmoid 함수의 출력값이 1에 가까우면, 'Forget' 하지 않습니다. 즉, '망각'하지 않는다는 의미입니다. 만약 0에 가까우면 그 정보를 망각한다는 의미입니다.
4. 이 출력 값이 "Cell State(셀 상태)"와 요소별로 곱해져서 "Cell State(셀 상태)"에서 특정 정보를 Forget(망각)하게 됩니다.

---

Remember Gate (기억 게이트)

Remember Gate (기억 게이트)는 선택된 새로운 기억으로 장기 기억을 갱신합니다. 다른 게이트와 달리 별도의 Gate 연산 없이 더하기로만 구별됩니다.

• 새로운 정보를 Cell State(셀 상태)에 추가하는 방식으로 갱신합니다. 새로운 input을 기억하고 이전의 상태를 업데이트 하는 방법을 결정하는데 도움을 주는 역할을 합니다.

Remember Gate(기억 게이트)의 작동방식은 아래와 같습니다.

1. 현재 input값과 이전 hidden state(숨겨진 상태)가 Remember Gate(기억 게이트)로 전달됩니다.
2. 이들은 각각 Weight(가중치)와 Bias(편향)으로 조정된 후 하나는 Sigmoid 함수를 통과하고, 다른 하나는 tan(탄젠트) 함수를 통과합니다.
3. Sigmoid 함수는 0 ~ 1 사이의 값을 출력하여 새로운 정보의 중요성을 결정하고, tan(탄젠트) 함수는 -1에서 1 사이의 값을 출력하여 새로운 값들을 생성합니다.
4. Sigmoid 함수의 값, tan(탄젠트)함수의 값 들이 곱해져서 셀 상태에 추가될 새로운 값을 생성합니다.
5. 새로운 값이 망각 게이트에서 생성된 업데이트된 Cell State(셀 상태)에 더해져서 최종 Cell State(셀 상태)를 형성합니다.

---

Input Gate (입력 게이트)

Input Gate(입력 게이트)는 Cell State(셀 상태)에 어떤 새로운 정보를 추가할지를 결정하는 역할을 합니다.

• 단기 기억과 새로운 Event가 합쳐진 새로운 기억에서 Predict(예측)에 필요한 부분을 선택합니다.
  • 이부분을 설명해보면, Cell State(셀 상태 - 기억)와 hidden state(단기 기억)을 유지하면서 새로운 입력(Event)가 들어올 때 마다 이를 업데이트 합니다.

Input Gate(입력 게이트)의 작동방식은 아래와 같습니다.

1. 현재 입력과 이전 hidden state(숨겨진 상태)가 Input Gate(입력 게이트) 로 전달됩니다.
2. 이들은 각각 Weight(가중치)와 Bias(편향)으로 조정된 후, 하나는 Sigmoid 함수를 통과하고, 다른 하나는 tan(탄젠트)함수를 통과합니다.
3. Sigmoid 함수는 0 ~ 1 사이의 값을 출력하여 어떤 정보를 Cell State(셀 상태)에 추가할지 결정하고, tan(탄젠트)함수는 -1에서 1 사이의 값을 출력하여 새로운 후보 값들을 생성합니다.
4. Sigmoid 함수의 값, tan(탄젠트)함수의 값 들이 곱해져서 셀 상태에 추가될 새로운 값을 생성합니다.
5. 이 새로 생성된 값은 Forget Gate(망각 게이트)에서 업데이트된 Cell State(셀 상태) 에 더해져서 최종적인 Cell State(셀 상태) 를 형성하게 됩니다.

---

Output Gate (출력 게이트)

Output Gate (출력 게이트)는 Cell State(셀 상태)에서 어떤 정보를 최종 출력으로 보낼지 결정하는 역할을 합니다.
LSTM Model이 필요한 정보만을 선택하여 최종 출력으로 전달하게 돕습니다.

• 사건, 단기, 장기 기억이 연합되어 있는 갱신된 장기 기억에서 예측에 필요한 부분을 선택합니다.

Output Gate(출력 게이트)의 작동방식은 아래와 같습니다.

1. 현재 입력과 이전 hidden state(숨겨진 상태)가 Output Gate(출력 게이트)로 전달됩니다.
2. 이들은 각각 Weight(가중치)와 Bias(편향)으로 조정된 후, 하나는 Sigmoid 함수를 통과합니다.
3. Sigmoid 함수는 0 ~ 1 사이의 값을 출력하여 어떤 Cell State(셀 상태)의 부분을 출력할지 결정합니다.
4. 동시에, 현재 Cell State(셀 상태)는 tan(탄젠트)함수를 통과하여 -1에서 1 사이의 값을 출력합니다.
5. Sigmoid 함수의 값, tan(탄젠트)함수의 값들이 곱해져서 최종 출력을 생성합니다.
6. Output Gate(출력 게이트)는 Cell State(셀 상태)의 정보 중 어떤 부분이 다음 hidden state(숨겨진 상태)로 전달될지, 또는 신경망의 최종 Output(출력)으로 사용될지를 결정합니다.

---

3.  LSTM Model에 들어가보기

사건의 단기 기억, 장기 기억이 어느정도 예측에 관여 하는지는 LSTM의 Gate 구조로 조절됩니다.

• 그리고 LSTM 모델은 장기기억을 오래 기억할 수 있고, 어느 부분을 기억할지를 선택 할 수 있습니다.

LSTM 모델의 장기기억을 오래 기억 및 어느 부분을 기억할지를 선택하는걸 보여주는 예시 그림.

그러면 이제 LSTM의 모델을 자세하게 한번 보도록 하겠습니다.

LSTM 모델의 자세한 구조

• 그림에 데하여 설명을 해보면 Gate 종류 ft(망각 게이트), it(입력 게이트), ot(출력 게이트)는 위에서 역할과 작동 방식에 데하여 설명했으니 패스 하겠습니다. 위의 적은 내용을 참고해주면서 한번 봐주세요!

---

자세한 구조 설명

• 여기서 "Ct"는 Cell State(셀 상태)를 나타내며 *Internal state로 장기 기억이 된다고 되어있습니다.
  • *Internal state는 Model이 시간에 따른 input의 Sequence를 처리하면서 유지하는 "State(상태)"를 의미합니다.
  • RNN 에서는 Internal stater가 각 time-step에서의 hidden state(숨겨진 상태)로 표현 되며, 이는 이전 time-step의  hidden state(숨겨진 상태)와 현재의 time-step의 입력에 기반합니다.

 

• 그리고 Cell State(셀 상태)는 Sigmoid 함수(작은 Network)에 기반하며, Cell State(셀 상태) 간에 *Linear Interaction 상태로 구성하며 *Gradient Flow 지름길을 생성한 것이 핵심 idea입니다.
  • *Linear Interaction: input & output 사이의 상호작용이 선형적이 관계를 가지는 것을 의미합니다. 즉, input의 크기가 변하면 output도 그에 비례하여 변합니다.
  • Gradient Flow: 신경망 학습 과정에서 오차를 Backpropagation(역전파)하여 Weight(가중치)를 업데이트 하는 매커니즘 입니다.

 

• Cell State(셀 상태)는 Forget Gate(망각 게이트)와 전의 Cell State(셀 상태)를 곱한 값과, Input(입력 게이트)와 Cell에서 형성된 새로운 기억을 곱한 값을 더해서 Cell State(셀 상태)를 업데이트 합니다.
• 이때 Cell State(셀 상태)의 값이 1씩 증가 or 감소 하는데, Element(요소)별로 Integer Counter 합니다.
  • 무슨 말이냐면, LSTM Model은 Sequence의 각 요소를 처리하면서 정보를 쌓거나 제거하는 동작을 수행한다는 의미입니다.

 

• 그리고 "ht", Hidden state(숨겨진 상태)는 Cell의 Output값으로 단기 기억을 의미합니다.
• Hidden state(숨겨진 상태), "ht"의 값은 Output Gate(출력 게이트)랑 "Ct", Cell State(셀 상태)값을 하이퍼볼릭탄젠트(tanh)함수에 넣은 값과 곱해서 출력값을 얻습니다.
• 이때 Counter 값을 -1 ~ 1 사이의 범위로 squashing 합니다. "squashing" 한다는 말은 Cell State(셀 상태)의 값을 -1 ~ 1 사이의 범위로 변환하는 것을 의미합니다.

LSTM Model의 구조

그리고 LSTM Model은 Gradient Flow에 Weight(가중치)가 곱해지지 않도록 구조를 변경했습니다.

• 설명을 해보자면, "Ct" -> 현재의 셀 상태 에서 "Ct-1" -> 이전에 셀 상태 사이 Gradient(기울기) 연산에서 W(가중치)은 완전히 사라집니다.
• 이유는 "ft" -> Forget Gate(망각 게이트)와의 Element(요소) 곱이 있기 때문에 Local Gradient는 Forget Gate(망각 게이트)가 됩니다.
  • 이거에 데하여 설명을 해보면, Forget Gate(망각 게이트)의 출력값인 0~1 사이의 값 (Cell state의 각 요소에 곱해져서 업데이트) 이 Gradient(기울기)의 흐름을 결정하기 때문에, Local Gradient는 Forget Gate(망각 게이트)의 값이 됩니다.

 

그러면 이번에는 LSTM에서 Gradient Flow가 좋은 이유를 설명해 보겠습니다.

 

1. "ft" -> Forget Gate(망각 게이트) 값은 매번 봐뀌기 때문에 같은 값이 반복해서 곱해지지 않습니다.
2. Forget Gate(망각 게이트) 값이 (0 ~ 1) 사이 범위에서 존재하기 때문에 Gradient Exploding(기울기 폭팔)은 일어나지 않습니다.
3. Final hidden state(최종 숨겨진 상태)에서 Fist Cell State(첫번재 셀 상태)까지 backward path(역전파 단계)에는 tanh(하이퍼볼릭탄젠트)함수를 한번만 나타냅니다. (즉, 반복적인 tanh(하이퍼볼릭탄젠트)함수의 곱셈이 사라집니다)

+ Forget Gate(망각 게이트)값이 1보다 작기 때문에 Gradient Vanishing (기울기 소실)이 일어날수 있지만, 이를 방지 하기 위해서 Forget Gate(망각 게이트)의 bias(편향)을 1로 초기화 합니다.

---

4.  LSTM Model 코드 예시

한번 LSTM Model의 코드 예시를 한번 보겠습니다.

from keras.models import Sequential
from keras.layers import LSTM, Dense

# model 초기화
model = Sequential()

# LSTM layer add
# 입력 차원은 특성의 수에 따라 변경해야 합니다. 100 - hidden unit 개수
model.add(LSTM(100, input_shape=(timesteps, input_dim)))

# fully connected layer add, 출력 Node 개수가 1개이므로 1이라고 함
model.add(Dense(1, activation='sigmoid'))

# model compile
# 이진 분류 문제이므로 손실 함수로 'binary_crossentropy'를 사용합니다.
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

• LSTM layer를 선언해줄때, "model.add(LSTM(100, input_shape=(timesteps, input_dim)))" 이런 형식으로 선언을 해줘야 합니다.
  • 여기서는 100은 hidden Unit의 개수입니다.
  • 여기서 "timesteps"은 Sequence의 Length(길이), input_dim은 각 Sequence 요소의 특성 개수를 나타냅니다.

 

• 그리고 하나의 출력 노드를 가진 Dense Layer(완전 연결 레이어)를 사용합니다.
  • "model.add(Dense(1, activation='sigmoid'))" -> 출력 Node의 개수가 하나이므로, activation 왼쪽 옆에 출력노드의 개수를 적는 파라미터 공간에 1을 적어주었습니다.

 

• 또한 제가 간단히 만든 모델은 Binary(이진)분류 문제에 적합하게 만들었습니다.
  • 그래서 출력 Dense Layer에 0~1사이의 확률값을 출력해주는 "Sigmoid 함수", Compile 코드에서는 Binary(이진)분류를 위해서 "binary_crossentropy"를 사용했습니다.

 

• 만약에 다중 Class를 분류하는 문제라면 활성화 함수 -> "activation"을 "softmax"함수를 사용해야 하고
• 모델 Compile 코드에서 손실 함수 -> "loss" 를 'categorical_crossentropy'로 설정해주면 됩니다.

 

• 공식문서에 어떠한 parameter가 들어갈수 있는지 나와있으니까 참고해주세요.
• 다음은 GRU Model에 데하여 설명하는 글로 돌아오겠습니다.

tf.keras.layers.LSTM  |  TensorFlow v2.15.0.post1

+ Softmax 함수: Vector를 input으로 받아서 각 원소의 값을 0~1 사이의 값으로 반환하여, 이 값들의 합이 1이 되도록 만드는 함수입니다. 주로 확률 분포를 나타내는데 사용됩니다.