Detailed Expression Capture and Animation

wrinkles 주름

우리는 3D face shape과 애니메이션 가능한 디테일을 예측한다.

디테일은 개인에 특화되있지만 변화가능하다.

개인의 특징과 일반적인 표정 변수를 유지하며 적은 차원의 숨은 공간 표현에서 UV displacement map을 예측한다.

이미지 한장으로 부터 detail, shape, albedo, expression, pose, illumination 파라미터를 예측한다.

표정에 의존적인 주름의 개인화 디테일을 detail-consistency loss 을 제안함으로써 풀어냄(disentangles ). 

2D-to-3D 쌍없이 학습가능하다.

FLAME 머리 모델 (Li et al. 2017)

아이덴터티: 베타

포즈: 세타 목, 턱, 눈, 글로벌 총 5개 3변수 15

파이: 표정

총 5023 버텍스

블렌드 스키닝 펑션은 버텍스 T를 조인트 J를 기준으로 회전하고 블렌드 웨이트 W로 스무스한다.

J의 위치는 아이덴티티 B에 의해 정의된다.

T: zero pose, Bs: blend shape, Bp: pose corrective, Be: expression blendshape

Tp(beta, theta, pi) = T + Bs(beta;S) + Bp(theta;P) + Be(pi;E)

Basel Face Model의 linear albeo subspace를 FLAME UV layout으로 변환했다.

albedo 파라미터 alpha ,반사도

orthographic camera model

Spherical Harmonics(SH), 조명이 떨어져 있고 반사는 lambertian으로 가정함.

coarse reconstruction

analysis-by-synthesis way, 2D 이미지 Ir를 생성해서 실제 이미지 I 차이를 최소화

엔코더 Ec ResNet50을 사용함.  출력으로 beta(100개), pi(50개), theta, alpha(albedo50개), camera, lighting, 총 236개를 출력.

Lcoarse = Llmk + Leye + Lpho + Lid + Lsc + Lreg

Llmk 랜드마크 로스, Leye 아이 클로져 로스, Lpho 포토메트릭 로스, Lid 아이덴티티 로스, Lsc 셰입 컨시스턴시 로스

Lreg 레규러라이제이션.

Llmk

지티로 주어진 랜드마크와 프레임 모델의 랜드마크를 오쏘그래픽 프로젝션했을때의 차이를 로스로 줌

Leye

눈감기 로스는 윗커플과 아랫커플 사이의 거리를 2D 랜드마크에서 구한거리와 프레임 모델에서 구한 거리의 차를 로스로 줌. 이 로스는 이동에 불변하다는 장점이 있다. 미스 얼라이에 강인하다. 단순히 렌드마크로스에서 눈에대한 가중치를 늘리면 만족안되는 재구성 결과를 보인다. 

Lpho

인풋 이미지와 렌더링된 이미지의 차이 로스, 페이스 세그맨테이션영역만 계산.

가려짐, 헤어, 옷, 선글라스에 더 신뢰성있게된다. 알베도도 이렇게 하지 않으면 안좋은 결과를 보인다.

Lid

얼굴 인식에 선학습된 모델을 이용해서 신원 로스를 준다. 입력 이미지와 렌더링된 이미지를 둘다 얼굴인식 모델을 통과시켜 나온 결과의 코사인 유사도를 로스로 사용한다.

Lsc shape consistency loss

이전에는 동일인물의 다른 이미지에서 나온 셰입 파라미터간의 거리를 특정 마진 이하로 줄이는 방법을 썻다. 여기서 특정마진이란 다른인물과의 거리보다는 작게한다는 것이다. 이렇게 고정된 마진을 사용하는것은 실제로는 위험 도전적이다. 다른 파라미터는 그대로 두고 셰입 파라미터만 교체하는 방법을 사용하였다. 동일인물의 다른 뷰에서 찍힌 사진으로부터 나온 셰입 파라미터를 교환하여 학습했다.

Lreg

셰입, 표정, 알베도 파라미터를 L2 레귤러라이제이션 했다.