The Beautiful Future

https://dl.acm.org/doi/abs/10.1007/978-3-319-23117-4_39 Evaluation of Multi-view 3D Reconstruction Software | Proceedings, Part II, of the 16th International Conference on Computer Ana ABSTRACT A number of software solutions for reconstructing 3D models from multi-view image sets have been released in recent years. Based on an unordered collection of photographs, most of these solutions extract ..

ICIP 2019 이미지에서 랜드마크 디텍션해서 3D 캐릭터의 블렌드셰입에 맵핑하는 기술 연구 가벼운 에너지 기반 최적화 인트로덕션 performance-driven facial animation from a monocular setup We formulate 3D character animation as a lightweight energy-based optimization problem solved with non-linear least-squares To fulfill real-time constraints, our energy functional relies only on a sparse set of 2D facial landmarks, which are used to update the head..

IEEE Transactions on Visualization and Computer Graphics 2020 University of Science and Technology of China. Github: https://github.com/kychern/FacialRetargeting 이 논문을 참조한 논문들 Virtual avatar animation based on facial feature movement, 특허 미국 2021 Learning a facial expression embedding disentangled from identity, CVPR2021. Everything's Talkin': Pareidolia Face Reenactment. arXiv 2021. Generate Ind..

Structure-Aware Transfer of Facial Blendshapes University of the Aegean, Greece Proceedings of the 31st Spring Conference on Computer Graphics, Smolenice, 2015. 메쉬 디포메이션 방법, 레퍼런스 얼굴 블랜드셰입을 소스 모델에 전달. 메쉬 유사도측정을 주어진 레퍼런스와 소스로 부터한다. 두 얼굴 모델 사이의 버티스의 분포와 메쉬의 그래디언트를 고려한다. 1. 디스트리뷰션 트렌스퍼 2. 그래디언트 유지 최적화. 이전 방법들과 디포메이션 트렌스퍼 에러를 측정한다. 계산속도도 비교한다. 메쉬 변형 전달 기법을 통한 블렌드쉐입 페이셜 리그 복제에 대한 연구 (주)엔진비주얼웨이브 한국멀티미디..

Graphics, 2017. (Proceeding SIGGRAPH Asia) Faces Learned with an Articulated Model and Expression 현존하는 그래픽 소프트웨어와 함께 동작하며 쉽게 데이터에 핏 될 수 있다. 3800 명의 스캔데이터로 부터 만들어졌으며 이는 선형 공간을 구성한다. 이 선형공간과 더불어 아티큘레이트 되는 턱, 목, 눈, 자세에 종속적이게 교정되는 블렌드셰입, 그리고 추가적인 전역 표정 블렌드셰입. D3DFACS 데이터셋에 있는 4D 얼굴 시퀀스에서 자세와 표정에 종속적인 아티큘레이션을 배운다. 템플릿 메쉬를 시퀀스에 정확하게 등록하고 D3DFACS 등록들을 연구에 활용할 수 있게 했다. 전체적으로 모델을 만드는데 총 33000 스캔이 사용되었다. ..

SIGGRAPH ASIA 2020, University of Massachusetts Amherst, Adobe 입력 음성으로부터 컨텐츠와 화자를 풀어냈다. 오디오 컨텐츠는 신뢰성있게 입모양과 얼굴주변을 컨트롤했다. 반면 화자 정보는 얼굴 표정과 나머지 말하는 머리 움직임을 결정한다. 제안하는 방법의 다른 중요 포인트는 화자를 인식한 움직임을 반영한 랜드마크를 예측하는 것이다. 이 중간 특징으로부터 제안하는 방법은 많은 얼굴 사진 그림 등에 다양하게 적용될수 있다.

ICCVW 2019, Kyushu University. 얼굴 마커 없이 RGB-D camera를 이용해서 일반적으로 Blendshap models을 이용해서 페이셜 익스프레션을 아바타로 트래킹하고 리타게팅한다. 예측된 얼굴 표정으로부터 아바타의 key-shpape은 블렌딩된다. key-shpape을 만들어 내는것은 전문적인 기술이 필요하여 어렵다. 그래서 블렌드셰입에 기반한 리타케딩 기술은 제한적으로 이미 만들어진 블렌드셰입 아바타에 사용될수 있지만 쉽지않다. 어떤 아바타로부터라도 realistic key-shape을 자동으로 만들어낼수 있는 기술에 대해서 설명한다. 사용자는 타겟 아바타와 소스 블렌드 셰입의 적은양의 대응 버텍스만 지정하면 생선된 타겟의 key-shpae은 소스 블렌드셰입에 직접 맵핑된..

NVIDIA, ICSSP2020 엔드투엔드 neural acoustic model for ASR. multiple blocks with residual connections. each blocks consist of modules with 1D time-channel separable convolutional layers. BN, RELU. CTC loss. near state-of-the-art accuracy on LibriSpeech and Wall Street Journal. light-weight model. this model can be effectively fine-tuned on new datasets. ASR model을 light-weight하게 만들어보자. 1D time-channe..

CVPR2019 INTRODUCTION [22] Looking to listen at the cocktail party: A speaker-independent audio-visual model for speech separation. Graph 2018. [38] Video-audio driven real-time facial animation. Graphics 2015. 스피치 드리븐 3D facial animation이 연구 많이 되었지만 화자 독립 모델링은 아직 해결되지 않았다. 스피치와 얼구 모션은 강하게 연관되어있지만 매우 다른 공간 도메인에 있다. 그래서 많은 데이터셋이 필요하다. 포님과 페이셜 모션은 매니 투 매니 맵핑이다. 여러 사람과 스타일을 함께 학습하는 것은 더욱 어려운 문제이다. ..

CVPR2019 A cascade GAN approach to generate talking face video. Robust to different face shapes, view angles, facial charateristics. noisy audio conditions. audio to high-level structure(facial landmarks) and then to generate video frames. Compared to a direct audio-to-image approach, 우리의 캐스캐이드 접근법은 가짜 연관성을 피한다. 가짜 연관성이란 음성 내용과 무관한 오디오 비주얼 신호 사이의 연관성을 말하는 것이다. 사람은 시간 불연속과 순간 아티팩트에 민감하다. 이런 픽셀 지터..