Face2Face

multi-linear PCA model 사용 (아래 모델들에 기반을 둠..)
[3] BASEL
[1] The Digital Emily Project: photoreal facial modeling and animation.
[9] Facewarehouse

(1) 수식은 geometric shape
(2) 수식은 skin reflectance
a_id 은 3xn 크기, a_alb 은 3xn 크기, E_id는 3nx80, E_exp는 3nx76, E_alb 는 3nx80 크기 이다.
메쉬는 53,000 버텍스와  106,000 페이스로 이뤄져있다.
rigid transformation \( \Phi \), full perspective transformation \( \Pi \), illumination \( \gamma \).
P = { alpha, beta, delta, R, t, k }
Illumination is approximated by the first tree bands of Spherical Harmonics(SH) basis function.
Labertian surface and smooth distant illumination, neglecting self-shadowing.
[23]  A signal-processing framework for inverse rendering 2001.

photo-consistancy Ecol, facial feature alignment Elan, statistical regularizer Ereg.
w_col = 1, w_lan = 10, w_reg = 2.5e-5

photo-consistancy, least-squares 대신에 outlier에 강인한 l2,1-norm [12]을 사용하였다. 
[12] R1-pca: rotational invariant l1-norm principal component analysis for robust subspace factorization.
color distance: l2, enforce sparsity summation over all pixels: l1

SOTA facial landmark tracking algorithm 
[24] Deformable model fitting by regularized landmark mean-shift.

statistically close to the mean.
degenerations of facial geometry and reflectance. guides the optimization strategy out of local minima.

Data-parallel Optimization Strategy
data-parallel GPU based Iteratively Reweighted Least Square (IRLS) solver.
IRLS의 키아이디어는 문제를 변화시키는 것이다. 매 이터레이션 마다 
논리니어스퀘어 문제는 두개의 컴퍼넌놈 놈으로 나눠진다. 

r 은 일반적인 레지듀얼(위에서 정의한 에너지펑션?), Pold는 이전 스텝에서 계산된 결과.
Gauss-Newton [29]  Real-time expression transfer for facial reenactment TOG 2015.
매 IRLS 이터에서 GN 스텝을 적용, 아래 수식을 풀었다.
\( \textbf{J}^T\textbf{J} \delta^* =  -\textbf{J}^T\textbf{F} \)
PCG에 기반하여 최적의 선형 파라미터 delta*를 구한다.
자코비안 J 와 \( -\textbf{J}^T\textbf{F} \)는 [29]처럼 미리 계산되고 저장된다.
[29]  Real-time expression transfer for facial reenactment.
[33], [29] 에서 제안된것처럼 old descent direction d 와 PCG 솔버 안의 J^TJ을 연속된 행렬곱으로 계산한다.

Supplemental Material
 preconditioned conjugate gradient (PCG) method
parallel prefix scan을 이용해서 신더싸이즈된 이미지에서 보이는 픽셀을  모은다. 
레지듀얼 벡터 F의 자코비안 계산과 에너지의 그래디언트 J^TF 는 지피유로 페러럴하게 계산된다.
병렬처리는 모든 부분 미분과 그래디언트 시작점이 독립적으로 계산되기때문에 가능하다.
자코비안의 값들은 계산되어 글로벌 메모리에 저장된다. 
모든 지역 픽셀단위그래디언트를 합칠때, 투 스테이지 리덕션이 사용된다.
PCG 메쏘드를 이용한 델타 엑스 파라미터 업데이트를 위해 
자코비안과 그래디언트를 이용해서 \( \textbf{J}^T\textbf{J} \delta^* =  -\textbf{J}^T\textbf{F} \) 문제를 푼다.