Facial Retargeting with Automatic Range of Motion Alignment

TOG 2017

INTRODUCTION
facial animation retargeting address the general problem of animation transfer between vitual charactors, with the transfer of performance capture to virtual characters being the main application.
Recent developments in vision- and depth-sensor-based facial motion capture
---Cao et al. 2014; 
Displaced Dynamic Expression Regressionfor Real-time Facial Tracking and Animation TOG 2014.
---Ichim et al. 2015;
Dynamic 3D Avatar Creation from Hand-held Video Input TOG 2015.
---Li et al. 2013;
Realtime Facial Animation with On-the-fly Correctives, TOG 2013.
---Thies et al. 2016;
Face2Face: Real-Time Face Capture and Reenactment of RGB Video, CVPR 2016.
Weise et al. 2011;
Realtime Performance-based Facial Animation TOG 2011.
made accurate captures of an actor, traditionally limited to big film or game studios, affordable to a much broader audience. 
current real-time capture systems typically adapt a realistic generic blendshape model to the actor.
since the modified and the original character have semantically equivalent blendshapes, the captured actor performance is then transferred between the characters by directly mapping the blendshape weights.
The special case of equvalent blendshapes between two characters is often named parallel parameterization in retargeting context.
In practice, it is uncommon to encounter facial rigs with a complete set of semantically equivalent blendshapes.
creating facial rigs for animation is time consuming and requires highly skilled artists.
therefore, a rig is carefully designed to fit the animation needs, only modeling the necessary expressions.
in addition, expressive digital characters are often stylized and exaggerate the facial proportions of humans.
An effective retargeting method must either transfer animation from facial motion capture markers to a blendshape rig or between faces with different blendshape sets.
several retargeting approaches generate their own parallel parameterization, by transferring the blendshapes of the character face rig to align with the actor's proportions.
However, especially for stylized characters the step often fails, due to differences in range of motion or the shortcomings of current methods. 
The subsequent blendshape estimation becomes erroneous, which has been addressed so far by incorporating additional priors.
의미론적으로 캐릭터의 페이스 리그와 대응되는 연기자의 얼굴 모션 학습 시퀀스로부터 특정 연기자의 블렌드쉐입을 생성하는 방법을 제안한다.
언수퍼바이스드 한 방법으로 우리는 학습 시퀀스가 충분히 연기자의 모션 범위를 표현할 수 있다는 것을 보인다. 
페이스 리그와 연기자가 매우 얼굴의 비율이 달라도 parallel parameterization이 가능함을 보인다.
주요 관찰은 얼굴의 모션은 다른 스타일 레벨이더라도 얼굴모션은 FACS에 따라 유사하다는 것이다.
FACS는 얼굴 표정을 얼굴 근육을 기저로 설명한다.
그리고 이 시스템은 블렌드쉐입 스타일라이즈 또는 리어리스틱 캐릭터의 생성과정에서 일반적으로 참고된다. 
새로운 매니폴드 얼라인먼트 접근법에 기반하여 그리고 새로운 에너지 유사도 측정법에 기반하여 우리는 성공적으로 모션의 범위를 연기자와 캐릭터 리그 사이에서 정렬했다. 이것은 결론적으로 정확한 리타게팅으로 연결된다.
우리의 두번째 기여한점은 prior energy based on physically inspired deformations. 이것은 리얼타임 환경에서도 효율적으로 계산되어질 수 있다. 
우리의 기하학적 사전 지식은  정확한 병렬 매개변수화의 경우에도 남아 있는 몇 가지 아티팩트를 해결합니다.
현재 SOTA offlne 방법과 대등하거나 낫다
---  Seol et al. 2012
Spacetime Expression Cloning for Blendshapes. TOG 2012.

RELATED WORK
As a key element of human-centerd applications, research on virtual faces and face animation has been an active field of research for decades, resulting in a wide range of publications on this topic. For a general overview we recommend the 
--- Parke and Wanters 2008, BOOK.
Computer Facial Animation. AK Peters Ltd.
---  Orvalho et al. 2012, surveys focusing on rigging 
A Facial Rigging Survey.  In Eurographics State of the Art Reports.
--- Lewis et al. 2014. , Blendshape animation
Practice and Theory of Blendshape Facial Models,  In Eurographics State of the Art Reports.

Cross-Mapping
의미론적으로 대응되는 캡쳐된 얼굴 표정과 타겟 리그를 직접적으로 학습한다.
그리고 새로운 포즈의를 예제기반으로 합성한다.
--- Buck el al, 2000, piece-wise linear mapping
--- Wang et al. 2004, locally linear embedding
--- Deng et al. 2006. RBFs.
--- Song et al. 2011. kCCA.
--- Kholgade et al. 2011. simplicial basis.
--- Bouaziz and Pauly 2014. Gaussian Process Laten Variable Models.
크로스 맵핑의 장점은 심지어 다른 눈의 개수를 가져도 어느 캐릭터든지 적용가능하다는 것이다. 
하지만 이 방법의 단점은 주어진 학습 예제의 품질과 개수에 따라 성능이 달라진다는것이다.
종종 15-20 개의 대응 예제가 충분한 결과를 위해 요구된다.
40개의 블렌드 쉐입에 600-800개의 파라미터가 반드시 수동 정의 되어야한다.
학습 예제가 일관된경우, 결과 표정은 복잡한 보간 학습 데이터의 보간으로 남는다?...
이는 종종 학습 예제와 매우 다른 부정확한 결과를 보여준다.

Parallel Parameterization
semantically equivalent facial rigs를 만들어서 간단하게 애니메이션을 다른 캐릭터로 전달할수 있다.
이 일은 노동 집약적 업무이다. 탁월한 모델링 스킬과 얼굴의 의학적 지식을 알아야한다. 시간이 많이 든다.

이 과정을 자동으로 하기위해 몇몇 접근방법들은 generic face model 에서 neutral face target 으로 전달하는 방법을 제안했다.
--- Noh and Neumann 2001, dense correspondences, trasfer per-vertex displacements for each expression.
---  Sumner and Popović 2004, deformation gradients.
---  Orvalho et al. 2008; Seol et al. 2012, 2011, Radial Basis Function.
---  Li et al. 2010. ranging from incorporating examples.
--- Saito 2013. contact constraints.
---  Xu et al. 2014, interactive editing
--- Bouaziz et al. 2013. Ichim et al. 2015. Seol et al. 2016. iterative refinement schemes for real humans.
만약 소스와 타겟의 형상이 많이 다르면 실패한다. 과한 표정이 전달되거나 약한 표정이 전달된다.
--- Seol et al. [2012] 는 propotional mismatch 문제를 속도를 이용해서 해결하려고했다.
우리는 연기자의 모션 범위를 자동으로 적응하게하여 성능을 향상했다.
연기자의 모션 시퀀스와 희박한 대응 점이 주어지면 우리의 방법은 페이스 리그의 블렌드 쉐입을 연기자의 공간으로 자동으로 전달한다.

Manifold-based Techiques.