RNN구조 ★

 

 

•   RNN 구조

 

 

RNN은 은닉층 노드들이 연결되어 이전 단계 정보를 은닉층 노드에 저장할 수 있도록 구성한 신경망이다.

 

 

다음 그림에서 볼 수 있듯이 xt-1에서 ht-1을 얻고 다음 단계에서 ht-1과 xt를 사용하여 과거 정보와 현재 정보를 모두 반영한다. 

또한, ht와 xt+1의 정보를 이용하여 과거와 현재 정보를 반복해서 반영한다.

 

 

 

 

 

 

 

 

 

 

 

RNN에서는 입력층, 은닉층, 출력층 외에 가중치를 세 개 가진다. 

RNN의 가중치는 Wxh, Whh, Why로 분류된다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

- RNN의 순방향 학습

 

 

 

 

 

 

 

 

- RNN의 역방향 학습