Facial Expression Retargeting from Human to Avatar Made Easy

IEEE Transactions on Visualization and Computer Graphics 2020
University of Science and Technology of China.
Github: https://github.com/kychern/FacialRetargeting

이 논문을 참조한 논문들
Virtual avatar animation based on facial feature movement, 특허 미국 2021
Learning a facial expression embedding disentangled from identity, CVPR2021.
Everything's Talkin': Pareidolia Face Reenactment. arXiv 2021.
Generate Individually Optimized Blendshapes, BigComp, 2021.
Deep Learning-Based Unsupervised Human Facial Retargeting, Computer Graphics Forum, 2021.
Pareidolia Face Reenactment, CVPR, 2021.
......
Abstract
리타게팅 사람 얼굴에서 가상 캐릭터로, 전통적인 방법은 마커나 블렌드 쉐입을 사용, 이 방법은 지루한 3D 모델링이 필요하고
모델러의 경험에 비례해서 결과물이 나온다. 
크로스 도메인 표정 전달을 비선형 표정 임베딩과 표정 도메인 이동을 이용해 해결한다.
variational autoencoder를 이용해서 사람과 캐릭터의 얼굴 표정을 위한 적은 차원의 laten space를 만든다.
두 laten space의 대응을 기하학적 매칭과 perceptual constraint으로 구성한다.
특별히,  laten space에서 기하학적 대응이 기하학적 매칭을 반영하도록했고 트리플렛 데이터 구조를 사용하게 디자인했다.
트리플렛 데이터 구조는 사용자의 아바타 표정에 대한 인지적 추구도를 나타낸다.
자동으로 생성된 트리플렛으로 대응되는 것을 어노테이션 할 수 있게 사용자 친화적인 방법을 제안한다.
 geometric and perceptual correspondences을 사용해서 뉴럴넷을 학습했다. 표정 도메인 트렌슬레이션.
적은 시간과 노력으로 얼굴 표정 리타게팅을 비전문가도 할 수 있다.

2 RELATED WORK
2.1 Blendshape-based Representation
[9] Realtime performance-based facial animation, TOG, 2011.
https://www.youtube.com/watch?v=PlNeS1U0Pwo
[13] Performance-driven facial animation, SIG, 2006.
[14] Human face project, SIG, 2005.
[15] “Performance-driven muscle-based facial animation, Vis and Com Anima, 2001.
[16] Example-based facial rigging, TOG, 2010.
- 블렌드 쉐입을 만들기 위해서는 많은 노동이 필요하다.[6] Practice and theory of blendshape facial models, eurographics, 2014.
-blendshape refinement [2] Facial retargeting with automatic range of motion alignment, TOG, 2017.
사람의 범위와 아바타의 범위을 매니폴드에서 얼라인하는 방법을 제안.
-GAN을 이용한 방법[22] Real-time facial expression transformation for monocular rgb video, CG Forum, 2019.
파라메트릭 모델을 인물간 이동하기위해 사용,