[RNN] 순환 신경망 (RNN, Recurrent Neural Network) - 1. 순차 데이터

순환 신경망은 입력이나 출력을 순차 데이터로 뽑기 위한 신경망이다.

따라서 순차 데이터(Sequential Data)에 대한 이해가 필요하다.

---

순차데이터란?

• 순서가 달라질 경우 의미가 손상되는 데이터, 즉 순서가 의미있는 데이터
• 시간적 의미가 있는 경우 temporal sequence
• 일정한 시간차라면 time series
• ex) DNA 염기 서열(sequential data), 기온 변화(temporal sequence), 샘플링된 소리 신호(time series)

DNA 염기서열, 기온 변화, Sampling된 소리 신호

※ Resampling (보간 + 샘플링)

• Temporal Sequence 신호를 Time Series로 변환하기 위해 신호를 보간(interpolation)하고 이를 균일 시간 간격으로 sampling 한다.

---

순차 데이터와 심층 신경망

순차 데이터를 심층 신경망으로 작업하려 하면, 입출력에 모두 문제가 발생한다.

 

입력되는 순차 데이터가 음성과 같은 경우라면, 길이가 매번 다르고 음파가 초당 4만개 sampling으로 첫 번째 layer부터 shape이 상당히 커진다.

이렇게 입력이 들어가서 출력까지 오려면 출력이 다 원-핫 벡터 인코딩이 되어야 하는데 학습이 힘들다.

따라서 순차 데이터에 순환 신경망을 이용하는 것이다.

---

순차 데이터의 유형

1. 다중 입력, 단일 출력 ex) 개인 비서 서비스 시리, 오케이 구글 등
2. 다중 입력, 다중 출력 ex) 번역기
3. 단일 입력, 다중 출력 ex) 사진을 묘사하는 장면 이해 알고리즘