* 본 내용은 공부한 것을 정리한 글이므로, 오류가 있을 수 있습니다. Internal covariate shift Internal covariate shift는 번역하면 '내부 공변량 변화'으로, 데이터가 모델에 입력으로 들어갈때, 은닉층의 입력 분포가 다르다는 것이다.(입력은 정규화 할 수 있다.) 내부 레이어의 입력은 이전 레이어의 출력과 같으므로, 학습할 때마다 가중치 값이 변하고 분포는 또 바뀌게 된다. Batch Normalization을 하게 된 이유가 이러한 문제를 해결하기 위함이였다. Batch Normalization 논문에서는 입력 데이터의 정규화 처럼 은닉층의 입력도 정규화를 하면, 안정적으로 학습이 가능할 것 이라는 것으로 생각했다. (실제로도 그렇고) 그렇다면 어떻게 정규화를 할..