[NLP] GRU Model - LSTM Model을 가볍게 만든 모델

1. GRU Model은 무엇일까?

GRU (Gated Recurrent Unit)는 순환 신경망(RNN)의 한 종류로, 앞에서 설명한 LSTM(Long Short-Term Memory)모델의 단순화된 형태로 볼 수 있습니다.

• GRU Model은 LSTM Model과 비슷한 방식으로 작동하지만, 더 간단한 구조를 가지고 있습니다.
• LSTM Model의 장점을 유지하되, Gate(게이트)의 구조를 단순하게 만든 모델이 GRU Model 입니다.
• 또한 GRU, LSTM Model은 둘다 Long-Term Dependency(장기 의존성) 문제를 해결하기 위하여 만들어 졌습니다.

GRU Model - LSTM 을 가볍게(경량화) 만든 모델

• LSTM Model을 설명한 글에서 설명했지만 LSTM Model은 "Cell State(셀 상태)"와 "Hidden state(숨겨진 상태)"를 각각 다룹니다. 그리고 4개의 "Gate" 입력, 망각, 출력, 기억 게이트를 가집니다.

+ 제가 찾아보면서 안 내용인데, 기억 게이트는 문헌에 따라 게이트라고 언급 되기도 하고 안된다고 하기도 합니다.
입력 게이트에서 통과한 정보 & 망각 게이트에서 제거되지 않은 정보를 합쳐 Cell State(셀 상태)로 업데이트 하는 과정을 "기억" 단계라고 하는데 이 과정을 "기억 게이트"라고 한다고 하네요.

• 근데 GRU Model은 LSTM Model과 다른점이 하나의 "Hidden state(숨겨진 상태)" 만 유지합니다.
• 그리고 LSTM은 4개의 게이트를 가진것과 달리 2개의 게이트 "Update Gate(업데이트 게이트)", "Reset Gate(리셋 게이트)"만 가집니다.

---

2. Update Gate(업데이트 게이트), Reset Gate(리셋 게이트)

그러면 한번 "Update Gate(업데이트 게이트)", "Reset Gate(리셋 게이트)"에 데하여 설명해 보겠습니다.

Update Gate(업데이트 게이트)

• 이 게이트는 새로운 input(입력)값을 얼마나 "Hidden state(숨겨진 상태)"에 반영할지를 결정합니다.
• 또한 "Update Gate(업데이트 게이트)"는 LSTM Model의 "Input Gate(입력 게이트)" 와 "Forget Gate(망각 게이트)"의 역할을 합친 것으로 볼 수 있습니다.

Reset Gate(리셋 게이트)

• 이 게이트는 과거의 "Hidden state(숨겨진 상태)"를 얼마나 '잊어버릴(Forget)'지를 결정합니다.
• 이건 LSTM Model의 "Cell State(셀 상태)"를 어떻게 업데이트를 할지 결정하는 역할을 합니다.

---

3. GRU Model 안에 들어가보기

LSTM의 모델과 다른점은 "Cell State(셀 상태)"를 없애고, "Hidden state(숨겨진 상태, 그림에선 h)"가 그 역할을 하도록 수정한것 입니다.

 

GRU Model - LSTM 을 가볍게(경량화) 만든 모델

• 설명해보자면 여기서 "ht"는 t 시점에서의 Hidden state(숨겨진 상태)를 의미하고 주로 순환신경망(LSTM, GRU)모델에서 사용됩니다.
  • Hidden state(숨겨진 상태)는 Sequence의 각 Element(요소)를 처리할때 마다 업데이트 되는 신경망의 "기억"을 의미합니다.
  • 또한 이전 Element의 정보들을 포함하고 있으며, 이 정보들은 다음 Element를 처리하는데 사용됩니다.
  • 또한 "ht"는 t -1 시점의 Hidden state & "ht -1"의 t 시점에 input(입력)값에 기반하여 계산됩니다.

 

• "rt"는 Reset Gate(리셋 게이트)를 나타내며 다음 상태 "ht", Hidden state(숨겨진 상태)를 계산 하기 위해 이전 상태"ht-1"값에서 사용할 부분을 제어 합니다.
  • 이는 현재 input(입력)값과 이전 Hidden state(숨겨진 상태)에 기반하여 계산되며, 0~ 1 사이의 값을 가집니다.
  • Reset Gate(리셋 게이트)의 값이 0에 가까워지면 이전 Hidden state(숨겨진 상태)의 정보는 "Forget" 됩니다.
  • Reset Gate(리셋 게이트)의 값이 1에 가까워지면 이전 Hidden state(숨겨진 상태)의 정보는 유지됩니다.

 

• "zt"는 Update Gate(업데이트 게이트)를 나타내며 이전상태 "ht-1"값을 유지할지, 아니면 새로운 상태 "ht"로 대체할지를 결정합니다.
  • 이는 현재 input(입력)값과 이전 Hidden state(숨겨진 상태)에 기반하여 계산되며, 0~ 1 사이의 값을 가집니다.
  • Update Gate(업데이트 게이트)의 값이 1에 가까워지면 이전 Hidden state(숨겨진 상태)의 정보가 유지됩니다.
  • Update Gate(업데이트 게이트)의 값이 0에 가까워지면 새로운 Hidden state(숨겨진 상태)의 정보도 대체됩니다.

---

4. GRU Model 코드 예시

한번 GRU Model의 코드 예시를 한번 보겠습니다.

from keras.models import Sequential
from keras.layers import GRU, Dense

# 모델 초기화
model = Sequential()

# GRU layer add
# 입력 차원은 특성의 수에 따라 변경해야 합니다. 100 - hidden unit 개수
model.add(GRU(100, input_shape=(timesteps, input_dim)))

# fully connected layer add, 출력 Node 개수가 1개 이므로 1이라고 함
model.add(Dense(1, activation='sigmoid'))

# model compile
# 이진 분류 문제이므로 손실 함수로 'binary_crossentropy'를 사용합니다.
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

• GRU layer를 선언해줄때, "model.add(GRU(100, input_shape=(timesteps, input_dim)))" 이런 형식으로 선언을 해줘야 합니다.
  • 여기서는 100은 hidden Unit의 개수입니다.
  • 여기서 "timesteps"은 Sequence의 Length(길이), input_dim은 각 Sequence 요소의 특성 개수를 나타냅니다.

 

• 그리고 하나의 출력 노드를 가진 Dense Layer(완전 연결 레이어)를 사용합니다.
  • "model.add(Dense(1, activation='sigmoid'))" -> 출력 Node의 개수가 하나이므로, activation 왼쪽 옆에 출력노드의 개수를 적는 파라미터 공간에 1을 적어주었습니다.

 

• 또한 제가 간단히 만든 모델은 Binary(이진)분류 문제에 적합하게 만들었습니다.
  • 그래서 출력 Dense Layer에 0~1사이의 확률값을 출력해주는 "Sigmoid 함수", Compile 코드에서는 Binary(이진)분류를 위해서 "binary_crossentropy"를 사용했습니다.

 

• 만약에 다중 Class를 분류하는 문제라면 활성화 함수 -> "activation"을 "softmax"함수를 사용해야 하고
• 모델 Compile 코드에서 손실 함수 -> "loss" 를 'categorical_crossentropy'로 설정해주면 됩니다.

+ Softmax 함수: Vector를 input으로 받아서 각 원소의 값을 0~1 사이의 값으로 반환하여, 이 값들의 합이 1이 되도록 만드는 함수입니다. 주로 확률 분포를 나타내는데 사용됩니다.

• 공식문서에 어떠한 parameter가 들어갈수 있는지 나와있으니까 참고해주세요.

tf.keras.layers.GRU  |  TensorFlow v2.15.0.post1