RNN과 LSTM

Ⅰ. 시퀸스 데이터 학습 모델, RNN

가. RNN의 정의

- 시계열 데이터와 같이 시퀸스 데이터를 학습하기 위해 과거 출력을 재귀적으로 참조하는 모델

 

나. RNN의 동작방식

1	현 시점 t, 다음 시점 t+1에 보내는 은닉 상태값 ht
2	입력 데이터 x와 현 시점 셀과의 가중치 Wxh 계산
3	이전 시점 셀의 결과와 현재 시점 셀과의 가중치 Whh 계산
4	현재 시점  셀과출력 데이터 Y의 가중치 Why 계산
5	은닉층 활성 함수로는 주로 하이퍼볼릭 탄젠트 사용

- 주요 데이터 사이가 멀어지면 장기의존성 문제 해결위해 LSTM 등장

 

Ⅱ. RNN 한계 극복 모델, LSTM

가. LSTM의 정의

- RNN의 출력과 멀리 있는 정보를 기억할 수 없어 발생하는 문제 보완한 장/단기 기억 모델

 

나. LSTM의 동작 방식

1	상태를 두 개, 단기 상태 ht와 장기 상태 Ct로 나누어 계산
2	Forget Gate는 이번 입력을 얼마나 이후에 반영할지 계산
3	Input Gate는 이번 정보를 얼마나 내보낼지 계산
4	Output Gate는 과거 정보를 얼마나 까먹을지 계산
5	장기 상태 Ct로 RNN의 장기의존성 문제 해결

 

Ⅲ. LSTM 보다 간단한 구조의 GRU

- reset gate와 update gate 2개로 LSTM 구조를 단순화 시킨 모델