CRF

Conditional Random Field(CRF) 가 뭘까?

0. 도움을 받은 자료들 

[1] http://www.lsi.upc.edu/~aquattoni/AllMyPapers/crf_tutorial_talk.pdf

1. 일단 어떤 문제에 적용되는지 살펴보자. ( 차근 차근 접근해 보자 )

- 일반적으로 시퀀스데이터로 부터 시퀀스를 예측하는데 사용된다.

- 순서가 있는 또는 한개가 아닌 여러개의 데이터 묶음에 적용 될수 있겠다.

- 여기서 순서는 시간적 또는 공간적 등과 같은 순서로 생각할 수 있겠다.

- 아래와 같은 문제를 예로 들 수 있겠다.

from [1]

2. CRF은 당연히 확률 모델이다.( 누가 이걸 모르나... )

- 이름에 Conditional 이 들어간 이유는 조건부 확률 분포 모델이 사용되기때문이다.

- x를 관측데이터 y를 예측데이터라하면 아래와 같은 조건부 확률 분포로 나타낼수 있다.

    .... (1)

- 조건부 확률 분포(1)을 최대화하는 y를 찾아 주면 되겠다. (말은 쉽지... ㅡㅡ )

베이시안(MLE, MAP)과 엄청비슷한데.. 시퀀스데이터라는 점이 좀 달라보인다.!

   .... (2)

3. 확률 분포 모델을 어떻게 설계해야하나? ( 호기심을 가지고 접근하면 알게된다! )

- 물론, 이 문제는 주어진 문제마다 다를 것이다.

- 그러나 일반적으로 Feature Functions 을 정의하고 Feature Function 으로부터 

확률 분포 모델 (1)을 정의 할 수있다.

- 그래 CRF라는 틀에서 정의하기에 따라 다르다.

*. Image Segmentation에 적용

- 일반적으로 local potential 과 pairwise potential을 포함한다.

- local potential은 classifier의 결과

- pairwise potential 같은 레이블을 가진 이웃 픽셀을 선호한다

- Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials NIPS 2011 논문의 

방법에 많이 적용되고 있다.

*Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials

- 일반적으로 CRF를 MAP inference로 풀어냄.

- Fully Connected CRF는 모든 픽셀의 pair를 연결한다.

- 어느 특징공간에서 pairwise edge potentials 는 Gaussian kernel의 linear combination로 정의된다. 

- mean field approximation이 사용 되었다.

-  mean field approximation은 일련의 message passing step을 반복적으로 적용하여 최적화한다.

- message passing step은 하나의 변수를 업데이트하는데 때 다른 모든 변수로부터 정보를 모아서 사용한다.

- FCCRF의 모든 변수의 mean field update는 특징공간에서 가우시안 필터링을 통해 실행될수 있다.

- 가우시안 필터링은 속도면에서 from quadratic to linear 효과를 가져온다.

- 최종 근사 예측 알고리즘은 모델 안의 일부에서 선형이다?

- The Fully Connected CRF Model

CRF (I, X)는 Gibbs distribution에 의해 특성이 정해진다.

clique(패거리, 파벌)

어떤 한 레이블 x의 Gibbs energy는 아래와 같다.

MAP labeling

는 X에대한 그래프이고 는 모든 unary와 pairwise cliques 이다.

unary potential은 각 픽셀을 위해서 독립적으로 계산된다.

위의 수식에서 x는 label로 구해야하는 값이다.

본 논문의 unary potential은 shape과 texture, location, color가 사용된다.

pairwise potential은 아래와 같이 정의된다.

세타 알파, 세타 베타들은 데이터로부터 학습한다. 

뮤는 Pott model로 부터 정의된다. 가까이에있으면서 다른 레이블을 가지는 유사한 픽셀에 페널티를 준다.