Recurrent Neural Network

반응형

RNN?

이전의 hidden state를 가지면서 이전 출력을 입력으로 사용가능하도록 하는 신경망(이전 시점을 고려)

각 timestep t 마다, activation(hidden state)와 output이 나타남을 볼 수 있다.

 

관련 수식

1. hidden state : $$ a^{<t>} = g_1\left(W_{aa}a ^{t-1} + W_{ax}x^{t}+b_a \right)  $$

2. output state : $$ y^{<t>} = g_{2}\left ( W_{ya}a^{<t>} + b_y  \right )$$

RNN의 내부

 

장점(Advantages)	단점(Cons)
임의의 길이의 입력 처리 가능 입력 크기에 따라 모델 크기가 증가하지 않음 과거 정보를 활용하여 계산 가중치는 시간 축 상에서 공유	계산 속도가 느림 오래 전 정보에 대한 접근이 어려움 현재 상태에 대한 향후 입력을 고려할 수 없음

 

Loss function

$$ \mathcal{L}\left ( \hat{y}, y \right ) = \sum_{t=1}^{T_y} \mathcal{L}\left ( \hat{y}^{<t>} ,y^{<t>} \right ) $$

Backpropagtion throught time(BPTT)

 

Reference : 

[1] Afshine Amidi, Shervine Amidi, "CS 230 - Deep Learning", https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-recurrent-neural-networks