Expectation Maximization Algorithm

1. Likelihood Function

통계학에서 EM 알고리즘은 통계적인 모델의 매개변수를 maximum likelihood 또는 maximum a posteriori 을 이용해 예측하는 반복적인 방법이다. 통계적모델은 관측되지 않은 laten variable에 종속적이다. EM 반복은 expectation과 maximization을 반복하는데 expectation은 현재의 예측된 모델 매개변수를 이용해서 평가된 log-likelihood의 기대치를 위한 함수를 생성한다, maximization은 expectation에서 생성된 log-likelyhood을 최대화하는 통계모델의 매개변수를 계산한다.

관측된 데이터 X을 생성한 통계모델, 관측되지 않은 latent data Z, 통계모델의 알아내야 할 θ가 주어지고 함께 likelihood function L( θ; X, Z) = p( X, Z|θ) 도 주어진다면

θ의 maximum likelihood estimation은 관측데디터 X의 marginal likelihood estimate로 구해진다. 

관측 데이터 X가 θ을 가지는 통계적인 모델에서 생성 되었을 확률은 모든 Z의 경우를 합한 것이다.

EM algorithm은 marginal likelihood의 MLE을 E와 M을 반복적으로 수행해 찾는다.

ᆞE-step

현재 예측된 통계모델의 매개변수 와 관측데이터 X가 주어진 상황에서

조건부 분포 Z에 따라서 log likelihood function의 기대값을 계산한다.

ᆞM-step

θ을 알고 있다면 모든 경우의 Z를 고려하여 log likelihood을 최대화 하는 Z을 구할 수 있다.