Day 5 - CNN, RNN

CNN

출력크기 구하기

출력크기 (O) 입력크기 (H, W), 커널 크기 (K)

입력의 채널이 여러개인 경우, 각각의 채널에 Convolution연산을 한 후 결과를 합한다.

그래서 출력은 다음과 같아진다.

커널의 채널과 입력의 채널은 같아야 한다.

출력을 텐서로 만들고 싶다면, 아래와 같이 커널을 여러개 만들면 된다.

텐서로 만들어진 출력

CNN의 역전파

convolution 연산을 미분하면 convolution연산이 나온다.

RNN

시퀀스 데이터 다루기

시퀀스 데이터는 아래와 같이 이전 X가 발현했을때, 다음 X가 나올 확률로 규정할 수 있다.

매번 모든 X의 값을 나열하기 어려우니 Xt-2~X1의 값을 Ht로 묶는다.

Ht는 Xt-2~X1의 값들을 인코딩한 값 AR모델이다. (아직은 AR 모델을 이해하기 어려움.. 그냥 이전 값들을 대표하는 값으로 생각하기로..)

 

 

참고

https://m.blog.naver.com/mykepzzang/221568285099