[NLP] RNN (Recurrent Netural Network) - 순환신경망

1. RNN 이란?

RNN은 Sequence data를 처리 하기 위한 신경망 구조 입니다.

• 주로 자연어처리(NLP)를 포함한 여러 Sequence Modeling 작업에서 사용됩니다.
• 특징으로는 시간적, 공간적 순서 관계에 의하여 Context를 가지는 특성이 있습니다.

💡 example
I want to have an apple

• 이 'apple'에 한번 주목해 보겠습니다.
• 이 apple이라는 단어는 문맥이 형성하는 주변의 단어들을 함께 살펴봐야 판단할 수 있습니다.

---

2. RNN에 대하여

RNN의 특징은 어떤것이 있을까요?

• RNN은 은닉층(hidden layer)의 node에서 활성화 함수(activation function)을 통해 나온 결과값을 출력층 방향으로 보내면서, hidden layer node의 다음 계산의 input으로 보냅니다.
• 근데, RNN은 시퀀스 길이가 길어질수록 정보 압축에 문제가 발생합니다. RNN은 입력 정보를 차례대로 처리하고 오래 전에 읽었던 단어는 잊어버리는 경향이 있기 때문입니다.
  • 이 말은 즉, 오래 전에 입력된 단어는 잊어버리거나, 특정 단어의 정보를 과도하게 반영해 전체 정보를 왜곡하는 경우가 자주 생긴다는 의미입니다.

---

3. RNN셀의 특징, 구조 및 작동원리

RNN셀의 특징과 대하여 설명해보겠습니다.

1. 시퀀스의 각 요소를 순차적으로 처리합니다. 각 단계에서 출력된 은닉 상태는 다음 단계의 입력으로 사용합니다. - 순차적 처리
2. RNN 셀은 Sequence의 모든 단계에 걸쳐 같은 가중치(weight)와 편향(bias)을 사용합니다. 이는 파라미터의 수를 줄이고, 모델의 학습 능력을 향상시킵니다. - 파라미터 공유
3. RNN은 가변 길이의 입력 시퀀스를 처리할 수 있습니다. - 가편 길이 시퀀스 처리

이번은 RNN셀의 구조 및 작동원리에 대하여 설명하겠습니다.

• 아래의 그림을 한번 보겠습니다.

여기서 x는 입력층의 Input Vector, Y는 출력층의 Output Vector 입니다.

• 여기서 가운데에 h가 있는데, 여기서는 h는 RNN셀 이라고 합니다.
• RNN셀은 RNN에서 은닉층(hidden layer)에서 활성화 함수(activation function)을 통해 나온 결과를 내보내는 역할을 하는 노드를 셀(cell)이라고 합니다.
• 이 셀은 이전의 값을 기억하려는 성향이 있는데, memory의 역할을 수행하기도 합니다. 이 셀을 메모리 셀 or RNN 셀 이라고 합니다.
• 은닉층(hidden layer)에서 메모리 셀은 time step(각각의 시점)에서의 바로 이전 시점에서의 은닉층의 메모리 셀에서 나온 값을 자신의 input으로 사용합니다. 이를 현재 시점이라고 합니다 -> 이 과정을 RNN에서는 Feedback 이라고 합니다.

---

Feedback 보충 설명

• Feedback은 hidden state의 순환적인 전달을 통해 이루어집니다. 이전 시점에서의 hidden state는 가중치(weight)와 함께 현재 시점의 입력으로 결합되어서 새로운 hidden state를 생성합니다.
  • 즉 요약하면 -> Hidden state에 이전 input에 대한 기억을 저장하고, 새로운 input이 들어올때 마다 기억을 수정합니다.

---

• 다시 RNN 셀의 설명으로 돌아와서 현재 시점의 변수명을 t라고 설명하겠습니다. (위의 사진에는 없지만 x,y옆에 t가 붙어있다고 생각해주세요) like Xt, Yt
• 현재시점에서 t에서 메모리 셀이 갖고있는 값은 과거의 메모리 셀들의 값에 영향을 받은것을 의미합니다.
• 메모리 셀이 output layer 방향 또는 다음 시점인 t+1의 자신에게 보내는 값을 은닉상태 (hidden state)라고 합니다.
• t시점의 메모리셀은 t-1의 메모리 셀이 보낸 hidden state 값을 t시점의 은닉 상대 계산을 위한 입력값으로 사용합니다.RNN을 표현할 때 좌측과 같이 화살표로 사이클을 그려서 표현하기도 하지만, 우측과 같이 화살표로 사이클을 그려서 표현 하는 대신 여러 시점으로 펼쳐서 표현하기도 합니다.

RNN Unfolding

• 두 그림다 동일한 그림으로 사이클을 그리는 화살표를 사용하여 표현하였지만, 흐름에 따라서 어떻게 표현하였느냐의 차이일 뿐 둘 다 동일한 RNN을 표현하고 있습니다.
• RNN에서는 input layer(입력층)과 output layer(출력층)에서는 각각 input, output 벡터, hidden layer(은닉층)에서는 은닉 상태(hidden state)이라는 표현을 주로 사용합니다.

---

4. RNN 모델의 다양한 형태

RNN 모델의 다양한 형태에 대하여 설명드리겠습니다.

• RNN은 입력, 출력의 길이를 다르게 설계 할 수 있으며, 또한 다양한 용도로 사용할 수 있습니다
• RNN셀의 각 시점의 입, 출력의 단위는 사용자가 정할 수 있지만, 가장 보편적인 단위는 'Word Vector' 입니다.

---

Many-to-One 모델

Many-to-One 구조 모델 (다 대 일 구조)

• Many-to-One구조의 모델은 input(입력)되는 Sequence가 긍정, 부정적인지 판단하는 감성 분류 (Sentiment Classification)
• 메일이 정상인지, 스펨인지 판별하는 Spam Detection에 사용됩니다.

---

Mant-to-Many 모델

Many-to-Many 구조 모델 (다 대 다 구조)

• Many-to-Many 구조의 모델은 사용자가 문장을 입력하면 예측하여 단어를 생성하고, 대답 문장을 출력하는 ChatGpt와 같은 챗봇과
• 입력 문장으로부터 번역된 문장을 출력하는 번역기, 또는 개체명 인식이나 품사 태깅과 같은 작업
• 아니면 프레임별 비디오를 분류하는 작업에 사용됩니다.

---

One-to-Many 모델

One-to-many 구조

One-to-many 구조 모델 (일 대 다 구조)

• One-to-many 구조의 모델은 하나의 image input에 대하여 사진의 제목을 출력하는 Image Captioning(이미지 캡셔닝) 작업을 할 수 있습니다.
• 사진의 제목은 단어들의 나열이므로 Sequence Output(시퀀스 출력) 입니다.

---

Bidrectional 모델

Bidrectional 구조 모델 (양방향 순환 신경망 구조)

• Bidrectional 구조 모델은 Sequence Data를 앞에서 뒤로, 뒤에서 앞으로 양방향으로 처리하며, 각 시점에서의 과거, 미래의 정보 모두를 고려하게 해주는 신경망 구조입니다.
• Bidrectional 구조 모델(양방향 구조 모델)은 앞에서 설명했듯이
  • 앞에서 뒤로인 정방향 RNN (시퀀스 처음-> 끝까지 순차적으로 처리), 과거의 정보를 모델링하며
  • 뒤에서 앞으로인 역방향 RNN (시퀀스 끝-> 처음까지 역순으로 처리), 각 시점에서 미래의 정보를 모델링 합니다.
  • 이렇게 정방향, 역방향 RNN, 2개의 RNN층으로 구성됩니다.
  • 그리고, 정방향, 역방향 RNN의 은닉 상태(hidden state)는 연결 or 결합 되어서 최종 output을 생성하는 방식으로 진행됩니다.
• 이래서 Bidrectional 구조 모델은 해당 시점의 전후 컨텍스트를 모두 이해할수 있으므로, 전체 Sequence 정보를 사용하는 경우에 유용하고, Sequence의 각 부분에 대한 전체적인 이해가 필요한 작업에서 선호 됩니다.
• 그리고 Bidrectional 구조, 즉 양방향 RNN은 텍스트 분류, 감정 분석, 기계 번역, 음성 인식 등의 작업에서 사용됩니다. 

---

5. RNN 공식

한번 RNN에 대한 공식을 정리해 보겠습니다.

RNN Formula (RNN 공식)

• 현재 시점 t에서 은식상태값을 ht라고 정의합니다.
• 은닉층 (hidden layer)의 Memory Cell은 ht를 계산하기 위해서 2개의 가중치를 가리킵니다.
• 하나는 입력층 (input layer)에 들어가는 가중치 Wx이고, 다른 하나는 이전시점 t-1의 은닉 상태 값인 ht-1을 위한 가중치 Wh 입니다.

이를 수식화 하면 이렇습니다.

 

좌: 은닉층 수식, 우: 출력층 수식

RNN의 은닉층 연산을 Vector, 행렬 연산을 이용해서 한번 계산해 보겠습니다.

• 자연어처리(NLP)에서 RNN의 입력 Xt는 대부분 단어 Vector로 간주할 수 있습니다.
• 단어 Vector의 차원을 d라고 하고, 은닉 상태 (hidden state)의 크기를 Dh라고 하면, 각 Vector & 행렬의 크기는 아래와 같습니다.

• Batch size가 1이고, d & Dh값을 4로 가정했을때, RNN의 hidden layer 연산을 그림으로 표현했습니다.

출처: https://wikidocs.net/22886

은닉층 (hidden layer)의 수식, ht를 계산하기 위한 함수는 하이퍼볼릭탄젠트 함수 (tan h) 함수가 사용됩니다.

• 이때 각각의 가중치 Wx, Wh, Wy는 하나의 층에서는 모든 시점에서의 값을 동일하게 공유하지만?
• 은닉층 (hidden layer)가 2개 이상이면, 각 은닉층 (hidden layer)에서의 가중치는 서로 달라집니다.

---

6. RNN 구현 with Keras

TF(tensorflow)와 Keras 라이브러리를 사용해서 RNN층을 추가하는 코드를 한번 작성해 보겠습니다.

import tensorflow as tf

• 이 코드는 tf.keras.layers.SimpleRNN을 이용하여 기본적인 RNN 층으로 추가했습니다.
• 이 layer는 128개의 뉴런(unit)을 가지며, 기본적으로 tanh 활성화 함수를 사용합니다.
• 일반적으로 NLP에서 Embedding층은 단어의 정수 encoding을 Vector로 변환할 때 사용합니다.

💡 example
: 1000개의 단어를 가진 어휘 사전과 각 단어를 32차원의 벡터로 변환하는 경우를 코드로 보면 아래 코드와 같습니다.

model = tf.keras.Sequential([
	tf.keras.layers.Embedding(input_dim=1000, output_dim=32),

• input_dim은 Embedding 층에 넣어주는 parameter, 예시로는 1000개의 어휘사전(vocab)이므로, 1000을 적어줍니다.
• output_dim은 input으로 넣어준 어휘사전(vocab) & 단어를 벡터로 변환하여 출력해줍니다. 여기서는 32차원의 Vector로 변환한다고 했으니까, 32를 적어줍니다.

simple RNN은 기본적인 RNN층으로, 여기서는 128개의 unit을 사용한다고 했으니까, 아래 코드와 같습니다.

• SimpleRNN은 기본적으로 활성화 함수를 tanh 활성화 함수를 사용하므로, 굳이 activation='tanh' 을 써줄 필요는 없습니다.

tf.keras.layers.SimpleRNN(128),

SimpleRNN의 parameter가 무엇이 있는지 보겠습니다.

SimpleRNN(hidden_units, input_shape=(timesteps, input_dim))

• hidden_units = hidden state의 크기를 정의. 메모리 셀이 다음 시점의 메모리 셀과 출력층으로 보내는 값의 크기(output_dim)와도 동일. RNN 모델의 용량(capacity)을 늘린다고 보면 되며, 보통 작은 모델의 경우 보통 128, 256, 512, 1024 등의 값을 가진다.
• timesteps = input Sequence의 길이(input_length)라고 표현하기도 함.
• input_dim = 입력의 크기.

RNN층 - 3D Tensor를 input으로 받습니다.

 

• RNN 층은 (batch_size, timesteps, input_dim) 크기의 3D 텐서를 입력으로 받습니다.

그리고, 만약 10개의 Class로 분류하는 문제면, Dense층을 추가합니다. - output layer

    tf.keras.layers.Dense(10, activation='softmax')
])

• 만약에 2개의 클래스로 분류하는 문제면, unit 값을 2개로 해주고, 활성화 함수 (activation)함수를 'binary'로 해주면 됩니다.

마지막으로 compile 해주는 코드랑 모델의 요약값을 출력 해주는 코드을 작성해줍니다.

# 모델 컴파일
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

# 모델 요약 출력
model.summary()

• 실행 하면 모델에 대한 요약 값이 나옵니다.

Model: "sequential"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 embedding (Embedding)       (None, None, 32)          32000     
                                                                 
 simple_rnn (SimpleRNN)      (None, 128)               20608     
                                                                 
 dense (Dense)               (None, 10)                1290      
                                                                 
=================================================================
Total params: 53898 (210.54 KB)
Trainable params: 53898 (210.54 KB)
Non-trainable params: 0 (0.00 Byte)
_________________________________________________________________

그러면 RNN층은 어떻게 3D Tensor를 입력받고, 어떻게 hidden state를 출력할까요?

• RNN층은 사용자가 설정하는것에 따라 2가지 종류의 출력을 만들어 냅니다.
• 만약 Memory Cell의 최종 시점에서의 hidden state(은닉 상태) 값만 return 하려면

(batch_size, output_dim)

• 이렇게 2D Tensor만 return 합니다.

 

• 그러나, Memory Cell의 각 Time step(시점)의 hidden state 값들을 모아서 return 하려면

(batch_size, timesteps, output_dim)

• 이렇게 3D Tensor를 return 합니다.
• 이게 가능한 이유는, RNN 층의 return_sequences parameter(매개변수)에 True를 지정해서 설정을 하였기에 가능한 일입니다.
• output_dim은 hidden_unit의 값으로 설정됩니다.

💡 example
예시를 한번 들어보겠습니다.
time step=4일 때, return_sequences = True를 설정했을 때와 그렇지 않았을 때 어떤 차이가 있는지 보겠습니다.

좌: 다음층으로 마지막 hidden state(은닉 상태)만 전달, 우: 다음층으로 모든  hidden state(은닉 상태) 전달

• return_sequences = True를 설정하면, Memory Cell이 모든 time step(모든 시점)에 대해서 hidden state (은닉 상태)값을 출력합니다.
• 근데, parameter를 안적었거나, return_sequences = False 이면, Memory cell은 하나의 은닉 상태 값만을 출력합니다.
• 그리고 이 하나의 값은 앞에서 설명했듯이, 마지막 시점(time step)의 Memory cell의 은닉 상태 값입니다.

마지막 hidden state (은닉 상태)만 전달하면 many-to-one (다 대 일)이고, 모든 시점의 hidden state (은닉 상태)를 전달하면, 다음층에 RNN의 hidden layer가 하나 더 있는 경우나, 아니면 many-to-many (다 대 다) 경우 입니다.

---

RNN 구현 - 깊은 RNN Model 구현해보기

RNN은 다수의 hidden layer(은닉층)을 가질수 있습니다.

깊은 RNN Model, 출처: https://wikidocs.net/22886

• 위의 예시는 RNN 에서 hidden layer가 1개 더 추가되어 은닉층이 2개인 깊은(deep) 순환 신경망의 모습을 보여줍니다.
• 아래 코드는 은닉층을 2개 추가하는 코드입니다.

model = Sequential()
model.add(SimpleRNN(hidden_units, input_length=10, input_dim=5, return_sequences=True))
model.add(SimpleRNN(hidden_units, return_sequences=True))

• 첫번째 은닉층 코드는 다음 은닉층이 존재함으로, return_sequences = True를 설정하였습니다.
• 그러면 모든 시점에 대해서 hidden state 값을 다음 은닉층으로 보내줍니다.

---

RNN 구현 - 양방향 순환 신경망 (Bidrectional) Model 구현해보기

 t에서의 출력값을 예측할 때 이전 시점의 입력뿐만 아니라, 이후 시점의 입력 또한 예측에 기여할 수 있습니다.

• 양방향 RNN은 과거 시점의 입력 뿐만 아니라 미래 시점의 입력에 힌트가 있는 경우도 존재합니다.
• 그래서 이전, 이후의 시점을 고려해서 현재 시점(time step)의 예측을 더욱 정확하게 할 수 있게 한 모델이 양방향 RNN 입니다.

양방향 RNN, 출처: https://wikidocs.net/22886

• 양방향 RNN은 하나의 출력값을 예측 하기 위해서 기본적으로 2개의 Memory Cell을 사용합니다.
• 첫번째 Memory Cell은 앞 시점의 은닉 상태 (Forward State)를 전달받아 현재의 hidden state(은닉 상태)를 계산합니다.
  • 그림에서는 A' Memory Cell에 해당합니다.
• 두번째 Memory Cell은 두 시점의 은닉 상태 (Forward State)를 전달받아 현재의 hidden state(은닉 상태)를 계산합니다
  • 그림에서는 A Memory Cell에 해당하며, input sequence를 반대로 읽습니다.
• 이 2개의 Memory Cell은 현재 시점에서의 출력층에서 출력 값을 예측 하기 위하여 사용됩니다.

아래 코드는 단지 예시일뿐 위의 그림을 코드로 구현한것이 아닙니다!

from tensorflow.keras.layers import Bidirectional

timesteps = 8
input_dim = 4

model = Sequential()
model.add(Bidirectional(SimpleRNN(hidden_units, return_sequences=True), input_shape=(timesteps, input_dim)))

 

양방향 RNN도 일반 RNN 모델처럼 다수의 hidden layer(은닉층)을 가질 수 있습니다.
아래 그림은 hidden layer(은닉층)가 1개가 추가되어서 2개인 깊은 양방향 RNN 모델의 모습을 그림으로 보여줍니다.

깊은(deep) 양방향 RNN Model, 출처: https://wikidocs.net/22886

 

아래 코드는 hidden layer (은닉층)이 2개인 경우를 보여줍니다.

model = Sequential()
model.add(Bidirectional(SimpleRNN(hidden_units, return_sequences=True), input_shape=(timesteps, input_dim)))
model.add(Bidirectional(SimpleRNN(hidden_units, return_sequences=True)))

• 근데, hidden layer (은닉층)를 추가한다고 모델의 성능이 꼭 좋아지는건 아닙니다.
• hidden layer (은닉층)를 추가하면 모델이 학습하는 양도 많아지지만, 그에 비례하여 훈련 데이터셋의 양도 늘어나기 때문에 사용자가 잘 판단해서 hidden layer (은닉층)를 늘릴지, 줄일지 판단해서 모델을 만들어야 할 것 입니다.