The Beautiful Future

multi-linear PCA model 사용 (아래 모델들에 기반을 둠..) [3] BASEL [1] The Digital Emily Project: photoreal facial modeling and animation. [9] Facewarehouse (1) 수식은 geometric shape (2) 수식은 skin reflectance a_id 은 3xn 크기, a_alb 은 3xn 크기, E_id는 3nx80, E_exp는 3nx76, E_alb 는 3nx80 크기 이다. 메쉬는 53,000 버텍스와 106,000 페이스로 이뤄져있다. rigid transformation \( \Phi \), full perspective transformation \( \Pi \), illumination \..

https://www.youtube.com/watch?v=_JQSMhqXw-4 고려대학교 산업경영공학과 김정섭 text to image generation EBMs Flow-based models GANs VAEs DALL-E ( VAE 기반 활용, OpenAI January 2021 ) GLIDE ( diffusion, OpenAI December 2021 ) DALL-E 2 ( diffusion, OpenAI April 2022 ) Imagen ( diffusion, Google Brain May 2022 ) Diffusion 이란 물리 통계 동역학 Thermodynamics Deep Unsupervised Learning using Nonequilibrium Thermodynamics ICML 20..

divided into two major parts including lip movements in the lower face and diverse expressions in the upper face. multi-pathway framework to generate movements of two facial parts respectively. use the facial motion capture device to collect 3 hours human talking data with diverse expressions. record both video data as well as 3D face parameter sequences under the definition in ARKit with 52 ble..

참고자료: 패턴인식 (오일석) terms probability, random variable, probability density function, conditional probability, joint probability marginal probability, prior probability, likelihood, posterior probability, bayes rule, confidence. probability이란 어떤 사건들의 집합을 정의하기에 따라서 다라진다. 각 사건들은 probability를 가지고 있다. probability는 0보다 크고 모든 경우의 합은 1 이다. 1. 동전 던지기 -> 앞면, 뒷면 -> 0.5, 0.5 2. 주사위 던지기 -> 1, 2, 3, 4, 5, 6 -> ..

IEEE Computer Transactions Graphics on Visualization and 2020 DT: [7] Deformation transfer for triangle meshes, TOG 2004. BS: [2] Facial retargeting with automatic range of motion alignment, TOG 2017. Facial expression retargeting is a cross-domain problem. blendshapes are not orthogonal: [6] Practice and theory of blendshape facial models, EuroG 2014. two drawbacks of blendshape-based represent..

Grishchenko, I., Ablavatski, A., Kartynnik, Y., Raveendran, K., Grundmann, M.: Attention Mesh: High-fidelity Face Mesh Prediction in Real-time. In: CVPR Workshops (2020) Google Research 50 FPS on a Pixel2 phone. puppeteering 인형극 기여한점: 30% 속도향상을 가져오면서 multi-stage cascade approach와 같은 성능 3D 얼굴모델을 사용하지 않고 다이레트로 좌표를 예측. [5] 연구에 기반을 두고 있음. 얼굴 검출 후 리그레션하는 두 단계 구조. [5] Real-time Facial Surface Geometry..

Generating 3D faces using Convolutional Mesh Autoencoders ECCV 2018. Abstract 기존 방법은 선형 서브 공간 또는 고차원 텐서 일반화를 사용했다. 이 선형성 때문에 극한 변형과 비선형 표정을 캡쳐할 수 없었다. 그리서 얼굴 비선형 표현할수 있는 모델을 제안하며 spectral convolutions을 mesh surface에 적용함으로써 가능하다. 계층적 mesh 표현이 가능한 mesh sampling operation을 사용해서 shape과 expression의 비선형 변형을 멀티스케일로 캡쳐한다. variational setting으로 우리의 모델은 multivariate Gaussian distribution으로 다양한 리얼 3D faces..

얼굴 검출기 없이 주어진 카메라에 얼굴이 크기 범위로 나온다는 가정으로 학습되고 사용되어질수 있게 알고리즘이 설계되었다. User-specific face model -- 15 rigid motion yaw: -90, -60, -30, 0, 30, 60, 90 pitch: -30, -15, 15, 30 roll: -30, -15, 15, 30 -- 45 non-rigid motion yaw: -30, 0, 30 mouth strech, smile, brow raise, disgust, anger, squeeze left/right eye, jaw left/right, grin, chin raise, lip pucker, lip funnel, cheek blowing, eye closed. User-spe..

TOG 2017 INTRODUCTION facial animation retargeting address the general problem of animation transfer between vitual charactors, with the transfer of performance capture to virtual characters being the main application. Recent developments in vision- and depth-sensor-based facial motion capture ---Cao et al. 2014; Displaced Dynamic Expression Regressionfor Real-time Facial Tracking and Animation ..

ACM transactions on graphics (TOG) 2011 Abstract 키넥트를 이용해서 실시간으로 사용자가 Performance-based character animation을 캐릭터에 적용할 수 있는 기술. 키넥트는 노이즈가 많다. 효율적으로 적은 해상도 이미지와 노이즈 3D 데이터를 실제같은 표정으로 바꾸기 위해 기하학정보와 텍스쳐정보를 등록하여 사용 및 사전에 기록된 애니매이션 priors를 같이 사용하여 하나의 최적화 문제를 푼다. 줄어든 파라미터 공간에서 공식화된 maximum a posteriori estimation을 푼다. compelling 설득력있는 삼차원 얼굴 다이나믹스 재구성 될수 있음을 마커나 intrusive lighting, scanning hardware 없..