Initialization of DNN

1. Gaussian Distribution Initialization(Normal Distribution Initialization)

가우시안 분포의 평균과 분산을 지정해서 weight의 값을 지정한다.

sigmoid나 hyperbolic tangent의 경우 입력 값이 커지면 gradient가 작아지기 때문에

업데이트가 적게 일어나는 문제가 있어서, weight 초기화시 gaussian 분포의 외곽을 잘라내는

truncated normal distribution을 사용한다. 잘라내는 범위는 주로 2 standard deviations을 사용한다.

https://stackoverflow.com/questions/41704484/what-is-difference-between-tf-truncated-normal-and-tf-random-normal

 

2. Xavier Initialization

W∼N(0,Var(W))W∼N(0,Var(W))

Var(W)=2nin+nout−−−−−−−−−√

 

3. He Initialization