The Beautiful Future

multi-linear PCA model 사용 (아래 모델들에 기반을 둠..) [3] BASEL [1] The Digital Emily Project: photoreal facial modeling and animation. [9] Facewarehouse (1) 수식은 geometric shape (2) 수식은 skin reflectance a_id 은 3xn 크기, a_alb 은 3xn 크기, E_id는 3nx80, E_exp는 3nx76, E_alb 는 3nx80 크기 이다. 메쉬는 53,000 버텍스와 106,000 페이스로 이뤄져있다. rigid transformation $\Phi$, full perspective transformation $\Pi$, illumination \..

divided into two major parts including lip movements in the lower face and diverse expressions in the upper face. multi-pathway framework to generate movements of two facial parts respectively. use the facial motion capture device to collect 3 hours human talking data with diverse expressions. record both video data as well as 3D face parameter sequences under the definition in ARKit with 52 ble..

IEEE Computer Transactions Graphics on Visualization and 2020 DT: [7] Deformation transfer for triangle meshes, TOG 2004. BS: [2] Facial retargeting with automatic range of motion alignment, TOG 2017. Facial expression retargeting is a cross-domain problem. blendshapes are not orthogonal: [6] Practice and theory of blendshape facial models, EuroG 2014. two drawbacks of blendshape-based represent..

Grishchenko, I., Ablavatski, A., Kartynnik, Y., Raveendran, K., Grundmann, M.: Attention Mesh: High-fidelity Face Mesh Prediction in Real-time. In: CVPR Workshops (2020) Google Research 50 FPS on a Pixel2 phone. puppeteering 인형극 기여한점: 30% 속도향상을 가져오면서 multi-stage cascade approach와 같은 성능 3D 얼굴모델을 사용하지 않고 다이레트로 좌표를 예측. [5] 연구에 기반을 두고 있음. 얼굴 검출 후 리그레션하는 두 단계 구조. [5] Real-time Facial Surface Geometry..

Generating 3D faces using Convolutional Mesh Autoencoders ECCV 2018. Abstract 기존 방법은 선형 서브 공간 또는 고차원 텐서 일반화를 사용했다. 이 선형성 때문에 극한 변형과 비선형 표정을 캡쳐할 수 없었다. 그리서 얼굴 비선형 표현할수 있는 모델을 제안하며 spectral convolutions을 mesh surface에 적용함으로써 가능하다. 계층적 mesh 표현이 가능한 mesh sampling operation을 사용해서 shape과 expression의 비선형 변형을 멀티스케일로 캡쳐한다. variational setting으로 우리의 모델은 multivariate Gaussian distribution으로 다양한 리얼 3D faces..

얼굴 검출기 없이 주어진 카메라에 얼굴이 크기 범위로 나온다는 가정으로 학습되고 사용되어질수 있게 알고리즘이 설계되었다. User-specific face model -- 15 rigid motion yaw: -90, -60, -30, 0, 30, 60, 90 pitch: -30, -15, 15, 30 roll: -30, -15, 15, 30 -- 45 non-rigid motion yaw: -30, 0, 30 mouth strech, smile, brow raise, disgust, anger, squeeze left/right eye, jaw left/right, grin, chin raise, lip pucker, lip funnel, cheek blowing, eye closed. User-spe..

TOG 2017 INTRODUCTION facial animation retargeting address the general problem of animation transfer between vitual charactors, with the transfer of performance capture to virtual characters being the main application. Recent developments in vision- and depth-sensor-based facial motion capture ---Cao et al. 2014; Displaced Dynamic Expression Regressionfor Real-time Facial Tracking and Animation ..

ACM transactions on graphics (TOG) 2011 Abstract 키넥트를 이용해서 실시간으로 사용자가 Performance-based character animation을 캐릭터에 적용할 수 있는 기술. 키넥트는 노이즈가 많다. 효율적으로 적은 해상도 이미지와 노이즈 3D 데이터를 실제같은 표정으로 바꾸기 위해 기하학정보와 텍스쳐정보를 등록하여 사용 및 사전에 기록된 애니매이션 priors를 같이 사용하여 하나의 최적화 문제를 푼다. 줄어든 파라미터 공간에서 공식화된 maximum a posteriori estimation을 푼다. compelling 설득력있는 삼차원 얼굴 다이나믹스 재구성 될수 있음을 마커나 intrusive lighting, scanning hardware 없..

https://dl.acm.org/doi/abs/10.1007/978-3-319-23117-4_39 Evaluation of Multi-view 3D Reconstruction Software | Proceedings, Part II, of the 16th International Conference on Computer Ana ABSTRACT A number of software solutions for reconstructing 3D models from multi-view image sets have been released in recent years. Based on an unordered collection of photographs, most of these solutions extract ..

ICIP 2019 이미지에서 랜드마크 디텍션해서 3D 캐릭터의 블렌드셰입에 맵핑하는 기술 연구 가벼운 에너지 기반 최적화 인트로덕션 performance-driven facial animation from a monocular setup We formulate 3D character animation as a lightweight energy-based optimization problem solved with non-linear least-squares To fulfill real-time constraints, our energy functional relies only on a sparse set of 2D facial landmarks, which are used to update the head..

IEEE Transactions on Visualization and Computer Graphics 2020 University of Science and Technology of China. Github: https://github.com/kychern/FacialRetargeting 이 논문을 참조한 논문들 Virtual avatar animation based on facial feature movement, 특허 미국 2021 Learning a facial expression embedding disentangled from identity, CVPR2021. Everything's Talkin': Pareidolia Face Reenactment. arXiv 2021. Generate Ind..

Structure-Aware Transfer of Facial Blendshapes University of the Aegean, Greece Proceedings of the 31st Spring Conference on Computer Graphics, Smolenice, 2015. 메쉬 디포메이션 방법, 레퍼런스 얼굴 블랜드셰입을 소스 모델에 전달. 메쉬 유사도측정을 주어진 레퍼런스와 소스로 부터한다. 두 얼굴 모델 사이의 버티스의 분포와 메쉬의 그래디언트를 고려한다. 1. 디스트리뷰션 트렌스퍼 2. 그래디언트 유지 최적화. 이전 방법들과 디포메이션 트렌스퍼 에러를 측정한다. 계산속도도 비교한다. 메쉬 변형 전달 기법을 통한 블렌드쉐입 페이셜 리그 복제에 대한 연구 (주)엔진비주얼웨이브 한국멀티미디..

Graphics, 2017. (Proceeding SIGGRAPH Asia) Faces Learned with an Articulated Model and Expression 현존하는 그래픽 소프트웨어와 함께 동작하며 쉽게 데이터에 핏 될 수 있다. 3800 명의 스캔데이터로 부터 만들어졌으며 이는 선형 공간을 구성한다. 이 선형공간과 더불어 아티큘레이트 되는 턱, 목, 눈, 자세에 종속적이게 교정되는 블렌드셰입, 그리고 추가적인 전역 표정 블렌드셰입. D3DFACS 데이터셋에 있는 4D 얼굴 시퀀스에서 자세와 표정에 종속적인 아티큘레이션을 배운다. 템플릿 메쉬를 시퀀스에 정확하게 등록하고 D3DFACS 등록들을 연구에 활용할 수 있게 했다. 전체적으로 모델을 만드는데 총 33000 스캔이 사용되었다. ..

SIGGRAPH ASIA 2020, University of Massachusetts Amherst, Adobe 입력 음성으로부터 컨텐츠와 화자를 풀어냈다. 오디오 컨텐츠는 신뢰성있게 입모양과 얼굴주변을 컨트롤했다. 반면 화자 정보는 얼굴 표정과 나머지 말하는 머리 움직임을 결정한다. 제안하는 방법의 다른 중요 포인트는 화자를 인식한 움직임을 반영한 랜드마크를 예측하는 것이다. 이 중간 특징으로부터 제안하는 방법은 많은 얼굴 사진 그림 등에 다양하게 적용될수 있다.

ICCVW 2019, Kyushu University. 얼굴 마커 없이 RGB-D camera를 이용해서 일반적으로 Blendshap models을 이용해서 페이셜 익스프레션을 아바타로 트래킹하고 리타게팅한다. 예측된 얼굴 표정으로부터 아바타의 key-shpape은 블렌딩된다. key-shpape을 만들어 내는것은 전문적인 기술이 필요하여 어렵다. 그래서 블렌드셰입에 기반한 리타케딩 기술은 제한적으로 이미 만들어진 블렌드셰입 아바타에 사용될수 있지만 쉽지않다. 어떤 아바타로부터라도 realistic key-shape을 자동으로 만들어낼수 있는 기술에 대해서 설명한다. 사용자는 타겟 아바타와 소스 블렌드 셰입의 적은양의 대응 버텍스만 지정하면 생선된 타겟의 key-shpae은 소스 블렌드셰입에 직접 맵핑된..

NVIDIA, ICSSP2020 엔드투엔드 neural acoustic model for ASR. multiple blocks with residual connections. each blocks consist of modules with 1D time-channel separable convolutional layers. BN, RELU. CTC loss. near state-of-the-art accuracy on LibriSpeech and Wall Street Journal. light-weight model. this model can be effectively fine-tuned on new datasets. ASR model을 light-weight하게 만들어보자. 1D time-channe..

CVPR2019 INTRODUCTION [22] Looking to listen at the cocktail party: A speaker-independent audio-visual model for speech separation. Graph 2018. [38] Video-audio driven real-time facial animation. Graphics 2015. 스피치 드리븐 3D facial animation이 연구 많이 되었지만 화자 독립 모델링은 아직 해결되지 않았다. 스피치와 얼구 모션은 강하게 연관되어있지만 매우 다른 공간 도메인에 있다. 그래서 많은 데이터셋이 필요하다. 포님과 페이셜 모션은 매니 투 매니 맵핑이다. 여러 사람과 스타일을 함께 학습하는 것은 더욱 어려운 문제이다. ..

CVPR2019 A cascade GAN approach to generate talking face video. Robust to different face shapes, view angles, facial charateristics. noisy audio conditions. audio to high-level structure(facial landmarks) and then to generate video frames. Compared to a direct audio-to-image approach, 우리의 캐스캐이드 접근법은 가짜 연관성을 피한다. 가짜 연관성이란 음성 내용과 무관한 오디오 비주얼 신호 사이의 연관성을 말하는 것이다. 사람은 시간 불연속과 순간 아티팩트에 민감하다. 이런 픽셀 지터..

IEEE Transactions on Visualization and Computer Graphics2020 Monocular 3D Face Reconstruction [4] A morphable model for the synthesis of 3D faces, SIGGRAPH 1999. [17] 3D morphable face models-Past, present, and future. Graph 2020. [19] Reconstruction of personalized 3D face rigs from monocular video, Graph 2016. [42] Learning detailed face reconstruction from a single image. CVPR 2017. [46] Synt..

wrinkles 주름 우리는 3D face shape과 애니메이션 가능한 디테일을 예측한다. 디테일은 개인에 특화되있지만 변화가능하다. 개인의 특징과 일반적인 표정 변수를 유지하며 적은 차원의 숨은 공간 표현에서 UV displacement map을 예측한다. 이미지 한장으로 부터 detail, shape, albedo, expression, pose, illumination 파라미터를 예측한다. 표정에 의존적인 주름의 개인화 디테일을 detail-consistency loss 을 제안함으로써 풀어냄(disentangles ). 2D-to-3D 쌍없이 학습가능하다. FLAME 머리 모델 (Li et al. 2017) 아이덴터티: 베타 포즈: 세타 목, 턱, 눈, 글로벌 총 5개 3변수 15 파이: 표정 ..