[Day 14] Math for AI - RNN

📍 RNN 첫걸음

    - 시계열(Sequence) 데이터로 들어오는 데이터를 위한 모델

 

  🔥 Seqeunce data

    - 소리, 문자열, 주가 등의 데이터

    - 독립동등분포(i.i.d.) 가정을 위배할 가능성이 쉽기때문에 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률분포도 바뀌게 됨

    - 이전의 시퀀스 정보를 가지고 앞으로 일어날 데이터의 확률분포를 다루기위해 조건부 확률을 이용함.

베이즈 법칙을 활용하여 식을 유도할 수 있음

    - 위와 같이하게 되면 앞의 정보의 길이가 가변적으로 다룰수 있어야 함.

 

  🔥 RNN

    - RNN모형은 MLP와 유사한 모양을 가짐

 

    - 과거의 정보를 담을 수 있도록 아래와 같이 식을 만들 수 있음

      -> t에따라 변하지 않는 Hx와 Wh가 있다는 것을 명심!

 

  🔥 BPTT(BackPropagation Through Time)

    - RNN의 역전파 방법: 잠재변수의 연결그래프에 따라 순차적으로 계산

    - 위와같은 식을 유도할 수 있지만 빨강색 박스를 보게 되면 길이가 길어질 수록 역전파 계산이 불안정해짐.

      -> 이를 해결하기 위해 LSTM과 GRU가 등장함