tensorflow fine tuning

1. tensorflow에서 back-propagation gradient를 적용하는 방법

1.1. minimize 함수 호출

optimizer를 만들고 optimizer의 minimize함수를 호출

optimizer = tf.train.MomentumOptimizer( lr, momentum)

train_proc = optimizer.minimize( loss, global_step)

1.2 gradient를 직접 전달

optimizer에서 gradient를 빼내고 이 gradient에 조작을 가한후 

다시 적용하는 방법, 아무조작을 하지 안으면 minimize와 같은 효과

optimizer = tf.train.MomentumOptimizer( lr, momentum)

grads = optimizer.compute_gradients(loss)

train_proc = optimizer.apply_gradients( grads, global_step)

2. fine tuning 방법

이미 학습된 레이어는 학습률을 적게 주고

새로 학습될 레이어는 학습률을 크게 준다.