[RNN] 2. Vanialla RNN, LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit)

순차 데이터를 어떻게 순환 신경망을 통해 처리하는지 알아보자.

---

기억 시스템

• 만약 시리 같은 개인 비서의 경우 올바른 대답을 하려면 입력을 받을 때마다 그 내용을 기억해야 한다.
• 반대로 이전 입력을 기억하지 않는 시스템은 무기억 시스템이라 한다.
  • 얕은 신경망(Shallow Neural Network)이 무기억 시스템의 예시
  • n번째 Time-Step에 대한 결과가 이전 입력에 영향 받지 않는다.

얕은 신경망과 RNN의 차이

---

기본적인 순환 신경망 (Vanilla Recurrent Network)

WIKI: RNN

• Vanilla RNN의 구조는 shallow NN 구조에 '순환(recurrent)'이 추가된 것이다.
  • 순환: n-1번째 time step이 n번째 time step으로 다시 돌아오는 것
• 기억 시스템이므로 RNN의 출력은 이전의 모든 입력에 영향을 받는다.

다층 계층 순환 신경망 (Multi-Layer RNN)

• 순환 신경망도 심층 신경망처럼 깊게 올릴 수 있다.
• 하지만, 신경망의 구조가 매우 복잡해지고 depth가 깊어질수록 time step이 늘어가 gradient가 뚫고 나와햐 해 복잡하다.
• 따라서 다층 계층이 아닌 다른 순환 신경망들이 주로 사용된다.

심화 순환 신경망

• LSTM, GRU 등에 대해 알아보자.

---

LSTM(Long Short-Term Memory)

출처: https://en.wikipedia.org/wiki/Long_short-term_memory

• 기억할 것은 오래 기억하고 잊을 것은 빨리 잊어버리는 능력 있음
• Cell State
  • 기억을 오래 유지할 수 있게 새로운 특징을 덧셈으로 받는 구조 (Residual Network와 비슷)
• Hidden State
  • 계층의 출력 (다음 타임 스텝으로 넘기는 정보)
• Forget Gate
  • sigmoid 활성 함수로 0-1 출력값 가짐
  • cell state에 forget gate를 곱해주어 얼만큼 잊을지 결정
• Input Gate
  • sigmoid 활성 함수로 0-1 출력값 가짐
  • 새롭게 추출한 특징을 얼만큼 사용할 지 결정
• Output Gate
  • sigmoid 활성 함수로 0-1 출력값 가짐
  • Cell로부터 출력을 얼마나 내보낼지 결정하는 역할

 

GRU(Gated Recurrent Unit)

출처: wiki-GRU

• LSTM을 간소화한 버전
• Cell state가 없고 Hidden State만 존재
• Forget Gate와 Input Gate 결합
  • Forget Gate를 1에서 빼서 input Gate로 사용
• Reset Gate 추가
  • Sigmoid 활성 함수로 0-1 출력값 가짐
  • 이전 hidden state를 얼마나 사용할지 정하는 역할
  • 0에 가까운 값 되면 'Reset'
• 전반적으로 기억을 어떻게 끌고 가는지는 forget gate지만 현재 새 feature 뽑을 때 이전 기억에 얼만큼 영향받게 할지는 reset gate