FACE IT!: A PIPELINE FOR REAL-TIME PERFORMANCE-DRIVEN FACIAL ANIMATION

ICIP 2019

이미지에서 랜드마크 디텍션해서 3D 캐릭터의 블렌드셰입에 맵핑하는 기술 연구
가벼운 에너지 기반 최적화

인트로덕션
performance-driven facial animation from a monocular setup
We formulate 3D character animation as a lightweight energy-based optimization problem solved with non-linear least-squares
To fulfill real-time constraints, our energy functional relies only on a sparse set of 2D facial landmarks, which are used
to update the head pose and facial expressions 
A novel differentiable energy term for specifying the range of the blendshape target weights 
A set of experiments for the validation of different aspects of the proposed method

넓은 범위 오버뷰
[4] State of the art on monocular 3D face reconstruction, tracking and applications. Computer Graphics Forum. 2018.

non-rigid tracking, physical makers, RGB-D, manual intervention
[5] Face/off: Live facial puppetry, SIGGRAPH 2009.
[1] Realtime performance-based facial animation. Graphics. 2011.
[2] Online modeling for realtime facial animation. Graphics 2013.
[6] Realtime facial animation with on-the-fly correctives. Graphics 2013.
[7] Realtime expression transfer for facial reenactment. Graphics 2015.
[8] Facial retargeting with automatic range of motion alignment, Graphics 2017.
[9] Self-supervised cnn for unconstrained 3d facial performance capture from a single RGB-D camera, 2018.

user-specific shape regressor
[10] 3D shape regression for real-time facial animation public image dataset to train regressor, Graphics 2013.
[11] Displaced dynamic expression regression for real-time facial tracking and animation, Graphics 2014.

bilinear face model for identity and facial expression (2D or RGB-D)
[12] FaceWarehouse

offline user-specific 3D face rigs from videos. 
[13] Reconstruction of personalized 3D face rigs from monocular video real-time photo-realistic facial monocular reenactment video. Graphics, 2016.

track facial landmarks, dense photometric consistency, reweighted least squares solver.
[14] Face2face, CVPR 2016.
real-time expression-transfer approach, 2D, user-specific.
[15] Real-time facial expression transfer with single video camera. Computer Animation and Virtual Worlds. 2016.
deep neural net, real-time, 3D from image, facial region segmentation, occlusion, significant gead rotation.
[16] Real-time facial segmentation and  performance capture from RGB input. ECCV 2016.
iphone X depth camera
[17] Use animoji on your iphone x and ipad pro
 https://support.apple.com/en-gb/HT208190, 2018

이 논문 요약. 
single CPU at real-time rates. facial landmark 에 의존적. 특별한 하드웨어 필요 무, 프리프로세싱 무, 매뉴얼 인터벤션,
수동 조작 간섭 무, 데이터셋 필요 없음, 타켓 스페시픽 무.

블렌드쉐입으로 선형 파라미터 모델 정의 . 에너지 기반 최적화 문제를 푼다. 이차원 얼굴 표정을 가상 쓰리디 아바타로 애니메이드 
또는 미리 구해진 사람 스페시픽 삼차원 재구성에 적용될수 있다. 이 방법은 퍼스펙티브 프로젝션과 카메라 내부 파라미터를 알고있다고 가정한다.

Alignment of Blendshape Targets.
[20] Generating 3D faces using convolutional mesh autoencoders, ECCV 2018.
[21] A FACS valid 3D dynamic action unit database with applications to 3D dynamic morphable facial modelingICCV2011.
[22] Learning a model of facial shape and expression from 4D scans, TOG 2017.
[20] 에서 44개의 블렌드쉐입 타겟을 골랐다. 그리고 [22]에서 제공된 방법으로 [21]에서 스캔 버전을 변경했다.
이 데이터셋들은 일관되게 5023 버텍스와 9976 페이스를 제공한다.
비록 FaceWarehouse만큼 표정변화가 크지않지만 적은 수의 버텍스가 리얼타임 목적에서는 매력적이다.
얼굴 표정들의 약간 정렬이 안되어있는것을 보상하기위해, 우리는 [22]의 스캔을 오쏘고날 프러크러스트를 사용 등록했다.

A와 B는 두 블렌드쉐입 타겟이다. R은 오쏘고날 매트릭스 A에서 B로 맵핑하는.
모든 메쉬 M에대해서 우리는 R을 계산했다. R = UD'V^T , R의 SVD.
svd(M) = UDV^T , M의 svd이다.
D = diag( 11 det(VU^T))
오직 머리 뒤쪽에 있는 포인트만을 사용해서 얼라인했다.