Survey on Transfer of Facial Blendshapes

Structure-Aware Transfer of Facial Blendshapes
University of the Aegean, Greece
Proceedings of the 31st Spring Conference on Computer Graphics, Smolenice, 2015.
메쉬 디포메이션 방법, 레퍼런스 얼굴 블랜드셰입을 소스 모델에 전달.
메쉬 유사도측정을 주어진 레퍼런스와 소스로 부터한다.
두 얼굴 모델 사이의 버티스의 분포와 메쉬의 그래디언트를 고려한다.
1. 디스트리뷰션 트렌스퍼
2. 그래디언트 유지 최적화.
이전 방법들과 디포메이션 트렌스퍼 에러를 측정한다. 계산속도도 비교한다.

메쉬 변형 전달 기법을 통한 블렌드쉐입 페이셜 리그 복제에 대한 연구
(주)엔진비주얼웨이브
한국멀티미디어학회논문지2021
임의의 타겟 얼굴에 얼굴 블렌드 셰입 모델을 전달하는 연구.
블렌드셰입 리그을 만드는 일은 시간이 오래걸린다.
소스와 타겟의 차이를 계산하고 디포메이션 트렌스퍼 알고리즘을 이용해서 소스의 블렌드 셰입을 타겟에 전달한다. 
우리의 자동화 방법은 효율적인 조절가능한 디지털 휴먼 얼굴 생산을 제공한다.
관련 연구
최초: Computer Generated Animation of Faces, 1972.
헐리우드 CG VFX 스튜디오, 디지털 더블, 영화 로건, 실제 사람과 구분 안됨.
상호작용: real-time virtual celebrity 'Sooah', real-time virtual 'Vincent'
성형 수술 의학 목적,
개인호된 아바타 생성
블렌드 쉐입이란? Practice and Theory of Blendshape Facial Models, Eurographics State of the Art Reports, 2014.
디포메이션 트렌스퍼? “Deformation Transfer for Triangle Meshes, Graphics , 2004.

표준 블렌드쉐입 리그 제작
페이셜 서피스 메쉬의 경우 약 11K 개 , 속눈썹과 안구 , 치아 등 얼굴 세부 오브젝 트를 모두 합치면 약 48K 개로 구성
Apple ARKit 이 제안하는 52개의 블렌드쉐입제작(호환성, 애플 트루뎁스 장비에서 손쉽게 테스트 가능)
표준 얼굴 메쉬와 대상 얼굴 메쉬가 동일한 폴리곤 개수 및 메쉬 구조로 되어 있는 것으로 가정(장점, UV 텍스쳐 맵핑, 세부 디포머, )
표준 블렌드 쉐입에서의 변형을 새로운 모델의 변형으로 전달하는 조건부 최적화를 진행
M, 메쉬 버텍스의 변환 행렬로 표현 (버텍스마다 변환 행렬이 있다.)
표준 무표정 쉐입에서 타겟 쉐입으로 변형을 나타내는 행렬
c, 무표정의 특성을 유지하기 위해 제한 조건 벡터 c 를 이용해서  변하지 않게 함.
x, 메쉬 변형이 완료된 새로운 얼굴의 버텍스 
b, 타겟 쉐입

위 수식은 아래와 같은 정규 방정식( normal equation)으로 표현 된다.

sparse LU solver(UMFPACK) 을 활용하여 위 문제를 품.
42대의 DSLR로 구성된 페이셜 스캔 시스템에서 인물의 페이셜 스캔.
표준 얼굴 모델에 기반하여 메쉬 클린업 작업을 수행.
전문가가 얼굴 모델 만드는 시간이 64시간이었지만 이 방법은 8시간에 만들어낸다.
전문가가 블렌드 쉐입을 만드는  시간이 24시간이었지만 이 방법은 3시간에 만들어 낸다.

 

Facial Action Coding System
What the Face Reveals: Basic and Applied Studies of Spontaneous Expression
using the Facial Action Coding System, 1997.  P. Ekman.

CGCircuitLLC
https://www.cgcircuit.com/course/auto-blendshape-transfer-different-topo?utm_source=youtube&utm_medium=video&utm_campaign=auto-blendshape-transfer-different-topo
2022년 4월 25일에 판매 시작.
199 달러(26만원)에 블렌드 셰입을 전달하는 툴을 판매, Autodesk Maya, maya, maya 2022, Python, wrap3d 에서
사용될수 있는 것으로 보임.