Realtime Performance-Based Facial Animation

ACM transactions on graphics (TOG) 2011

Abstract
키넥트를 이용해서 실시간으로 사용자가 Performance-based character animation을 캐릭터에 적용할 수 있는 기술.
키넥트는 노이즈가 많다. 효율적으로 적은 해상도 이미지와 노이즈 3D 데이터를 실제같은 표정으로 바꾸기 위해
기하학정보와 텍스쳐정보를 등록하여 사용 및 사전에 기록된 애니매이션 priors를 같이 사용하여  하나의 최적화 문제를 푼다.
줄어든 파라미터 공간에서 공식화된 maximum a posteriori estimation을 푼다.
compelling 설득력있는 삼차원 얼굴 다이나믹스 재구성 될수 있음을 마커나 intrusive lighting, scanning hardware 없이 가능함을 보인다. 

Overview
track rigid and non-rigid motion of user's face
map the extracted tracking parameters to suiable animation controls
solve the parameters of user specific expression model given the observed 2D and 3D data.
a suitable probabilistic prior from prerecorded animation sequences that define the space of realistic facial expressions.

Blendshape Representation
사람의 블렌드 쉐입 가중치는 다른 캐릭터간에 전달되도록 충분한 추상력를 제공한다는 것이 근본적 가설이다.

Acquisition Hardware
Kinect 사용, low resolution and high noise levels of input data is the primary challenge.

Realtime Tracking
rigid motion과 non-rigid motion을 분리했다.

Rigid Tracking
이전 프레임의 메쉬를 뎁스맵에 ICP를 이용해서 point-plane constraints를 줘서 얼라인했다.
얼라인먼트를 안정화하기위해 볼위쪽만 가지고 얼굴에서 변화가 심한곳을 빼고 pre-segmented template을 사용했다.
트랜슬레이션과 회전에 하이프리퀀시 플릭커링 필터를 사용했다.

Non-rigid Tracking
가능한 가까이 사용자의 표정과 유사하며 현실적인 사람표정의 공간안에 들어있는 블렌드쉐입을 만드는게 목표이다.
블렌드쉐입 파라미터는 현실적인  표정을 분별하지 못하고 무의미한 형상을 만들기 쉽다.
기하학적 조건과 텍스쳐 조건으로 피팅하면 노이즈 때문에 만족할 만한 결과를 얻기는 힘들다.

Statistical Model
unrealistic face pose를 막기위해 블렌드쉐입 웨이트를 regularize 한다.
dynamic expression prior는 이미 존재하는 블렌드쉐입 애니메이션 $$ \textbf{A}=\{A_1, ..., A_l\} $$
으로 부터 계산된다.
$$ A_j = \{a^1_j, ..., a^k_j\}, a^i_j \in \mathbb{R}^m $$
m-dimensional blendshape space. n 크기 윈도우 안 연속되는 프레임을 고려해 temporal coherence를 이용함.
얼굴의 기하학적 구조와 모션에 효과적이다.

MAP Estimation
$$ input \ data: D_i = (G_i, I_i), depth \ map: G_i, color \ image: I_i $$
$$ blendshape \ weights: \textbf{x}_i \in \mathbb{R}^m $$
$$ previous \ blendshape \ weights: X_n^i =  \{ x_{i-1}, ..., x_{i-n} \}  $$     

Using Bayes' rule

Assuming that D is conditionally independent of Xn given x