The Beautiful Future

IEEE Transactions on Visualization and Computer Graphics2020 Monocular 3D Face Reconstruction [4] A morphable model for the synthesis of 3D faces, SIGGRAPH 1999. [17] 3D morphable face models-Past, present, and future. Graph 2020. [19] Reconstruction of personalized 3D face rigs from monocular video, Graph 2016. [42] Learning detailed face reconstruction from a single image. CVPR 2017. [46] Synt..

wrinkles 주름 우리는 3D face shape과 애니메이션 가능한 디테일을 예측한다. 디테일은 개인에 특화되있지만 변화가능하다. 개인의 특징과 일반적인 표정 변수를 유지하며 적은 차원의 숨은 공간 표현에서 UV displacement map을 예측한다. 이미지 한장으로 부터 detail, shape, albedo, expression, pose, illumination 파라미터를 예측한다. 표정에 의존적인 주름의 개인화 디테일을 detail-consistency loss 을 제안함으로써 풀어냄(disentangles ). 2D-to-3D 쌍없이 학습가능하다. FLAME 머리 모델 (Li et al. 2017) 아이덴터티: 베타 포즈: 세타 목, 턱, 눈, 글로벌 총 5개 3변수 15 파이: 표정 ..

phoneme (음소) 여러 개의 소리를 대표하는 하나의 소리. 뜻의 차이를 가져오는 최소의 소리 단위. 데스트니 차일드 일러스트 애니메이션 스프레드시트 애니메이션 웹 플러그인 -> TTA API 로 요청 -> 합성 보이스 영상합성 MP 서버

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash cd dir git init git lfs install git lfs track "*.avi" git add .gitattributes git lfs ls-files git add . git commit -m "abcd" git push origin master

-- 이전 방법들 - 초기화 밀도가 높고 많이 겹치는 이미지 두장을 선택 이 두장의로 부터 Triangulation을 사용하여 3D 포인트를생성(->2카메라 포즈, 내부파람, 3D 포인트) - 이미지 등록 기존 등록되어있는 3D 포인트들과 새로등록될 이미지의 2D 좌표를 solvePnP (Ransac, minimal pose solver)로 푼다.(-> 포즈, 내부파람) - 삼각측량 새롭게 등록된 이미지와 기존에 등록되어있는 이미지간의 대응점들을 Multi-viewTriangulation을 이용해 3D 포인트를 예측한다.(->새로운 3D 포인트) - 번들어저스트먼트(BA) 위과정을 BA없이하면 재귀 못할 잘못된 결과로 수렴할 가능성이크다. 현재까지 구해진 카메라들의 포즈, 내부파람, 3D 포인트를 초기값..

R. I. Hartley and P. Sturm. Triangulation. 1997. A QCQP Approach to Triangulation. ECCV, 2012. L ∞ minimization in geo-metric reconstruction problems. CVPR, 2004. A practical algorithm for L ∞ triangulation with out-liers. CVPR, 2007. A fast optimal algorithm for L 2 trian-gulation. ACCV, 2007. Fast algorithms for L ∞problems in multiview geometry. CVPR, 2008. Outlier removal using duality. CVPR..

중국 국방 기술 대학교, 메크빌 페이스 플러스플러스 ICCV2019 모바일 투스테이지 디텍터 이전 백본의 문제점을 보완하며 가벼운 백본 디자인을 제안한다. 매우 가벼운 RPN과 검출 헤드를 이용한다. Context Enhancement Module(CEM)과 Spatial Attention Module(SAM)을 디자인 했다. 입력 크기와 백본, 검출 헤드의 비율조정 ARM기반 기기에서 24fps를 달성하였다. 19.2 AP on COCO. 이미지 클래시피케이션에 사용되는 배본을 사용하는데 클래시피케이션과 디텍션은 다르다. 검출은 더 큰 리셉티브 필드가 필요하다. 낮은 레벨 특징이 정확한 위치를 예측하는데 필요하다. 검출기는 크게 원스테이지 검출기와 투스테이지 검출기로 나눠진다. 투스테이지 [27] Fa..

ICCV2019 Adaptive Wing Loss 설계 로스 가중치 적용 HG에 boundary prediction을 추가 HG에 Coordinate encoding(CoordConv)을 매 스택 시작전에 추가 인플루언스와 그래디언트는 비례 , 네트웍에 영향력을 행사하기때문에 그냥 그래디언트라고 부르기 보다는 인플루언스라고 부름, 네트워 학습에 영향을 미치는 그래디언트 == 인플루언스 L2로스 L2로스의 그래디언트는 선형이기때문에 작은 에러에서 작은 그래디언트(영향력)를 가진다. 수렴되면서도 작은 에러를 그대로 가지게 된다. 결과 블러된 다일레이트된 히트맵이 생성된다. 심지어 더 나쁜경우는 어려운 랜드마크나 가려진 랜드마크에서 일반적이지 않은 랜드마크에서 작은 밝기를 가진다. L1 로스 상수 그래디언트를..

한사람 포트 예측 모델, 33 바디 키포인트 예측 pixel2에서 30fps 달성

손 아래 3논문으로 부터 영감을 받아서 만듬. End-to-end recovery of human shape and pose Learning 3d human dynamics from video Learning to reconstruct 3d human pose and shape via model-fitting in the loop 핸드 모델 파라미터를 엔드투엔드로 예측하는 모델 엔코더 디코더 구조, 엔코더는 resnet50사용, 디코더는 fcl 이다. 오른 손만 학습했다. 왼손은 플립해서 오른손만 학습했다. 3가지 어노테이션 고려함 1. 3D 포즈 각도 loss x 10 2. 3D 조인트 위치 loss x 100 3. 2D 조인트 위치 loss x 10 4. shape regularization x 0...

- 랜드 마크 로컬라이제이션 문제를 리그레션으로 풀때 L2 로스 보다 L1, L1 Smooth 로스가 좋다. - 윙로스는 중간 작은 크기의 에러를 모델이 더욱 고려할 수 있게 설계했다. 즉, 큰 로스에 도미넌트 당하지 않게 하기위해 고안되었다. - 포즈에 기반한 데이터 밸런싱 방법을 제안하였다.

. arxiv.org/pdf/2101.03961v1.pdf

- An Efficient PointLSTM for Point Clouds Based Gesture Recognition CVPR2020 NVGesture에서 Accuracy: 87.9 ( 1st 2021-01-27 확인, paperswithcode.com/sota/hand-gesture-recognition-on-nvgesture-1) 스켈레톤 기반 인식 방법, 시퀀스 기반 모델. 제스쳐 인식을 불규칙적인 순서 인식으로 공식화. 포인트 클라우드의 긴 기간 공간 상관을 캡쳐 PointLSTM을 이용해 이웃 포인트의 과거 지금 미래 LSTM layer. NVGesture and SHREC’17 에서 더 좋은 성능을 보였고, MSR Action3D을 이용해 일반화를 보임. - Real-time Hand Ge..

www.researchgate.net/figure/Classification-of-a-hand-gestures-and-b-hand-gesture-recognition-tools_fig1_221144352

towardsdatascience.com/sign-language-recognition-using-deep-learning-6549268c60bd Sign language recognition using deep learning A dual-cam first-person vision translation system towardsdatascience.com 머리 가슴 두개 카메라, 24 gestures, Panamanian Manual Alphabet 을 인식하는 시스템 구상.

- Hand Gesture Recognition dataset -- NVGesture NVIDIA Dynamic Hand Gesture Datase, 차안에서 촬영, RGB, Depth, IR로 촬영됨 1532 videos, 25 classes, 1050 train videos, 482 test videos. -- ChaLearn val/test -- EgoGesture 사용자 중심(egocentric) 다양하고 넓은 범위의 데이터셋, 세그멘트 제스쳐 분류와 제스쳐 디텍션을 위해 만들어졌다. 83개의 종류의 정적 동적 제스쳐가 6 종류의 실내 실외에서 수집되어졌다. 구분되는 사람으로 3:1:1 비율로 생성되어서 학습 1239, 검증 411, 테스트 431 비디오 14416, 4768, 4977 제스쳐 샘..

Quantization scheme affine mapping of integers q to real numbers r r = S(q-Z), r: real value, q: quantized value, S: scale, Z: zero point S는 양의 실수 이다, Z는 q와 같은 타입의 콴타이즈되어있는 수이고 q = Z 이면 real value 0이다. weight는 8bit integer로 퀀타이즈되고 bias는 32bit로 콴타이즈된다. Integerarithmeticonly matrix multiplication (4)에서 M 만 int가 아니다. M을 int로 바꾸고 fixed-point mul을 한다. 실험적으로 S1, S2, S3는 항상 (0,1)사이에 있다는 것을 찾았다. M0 는 [0..

https://github.com/google/gemmlowp/blob/master/doc/quantization.md google/gemmlowp Low-precision matrix multiplication. Contribute to google/gemmlowp development by creating an account on GitHub. github.com Overview gemmlowp 은 내부적으로 32bit accumulator을 사용하고 최종으로는 8bit 출력을 내보낸다. Quantization as an affine map $$real value = A * quantized value + B$$ $$real value = C * (quantized value + D)$$ Do..

@ tensorflow quantize tf.quantization.quantize( input, min_range, max_range, T, mode='MIN_COMBINED', round_mode='HALF_AWAY_FROM_ZERO', name=None, narrow_range=False, axis=None, ensure_minimum_range=0.01 ) - min_range = min( input_tensor ), max_range = max( input_tensor) - MIN_COMBINED mode 인경우, out[i] = (in[i] - min_range) * range(T) / (max_range - min_range) if ( T == qint8 ) out[i] -= (range(T..

https://pytorch.org/docs/stable/quantization.html Quantization — PyTorch 1.6.0 documentation Shortcuts pytorch.org Introduction 콴타이제이션하면 2~4배 빠르다. x86 CPU에서 AVX2 이상 SIMD연산을 지원한다. ARM CPU에서 일반적으로 mobile/embedded devices를 찾을 수 있다. Backend 파이토치는 콴타이제이션은 현재 x86과 ARM용으로 두가지 백엔드를 지원한다. fbgemm for x86, qnnpack for ARM QNNPACK 이 두 모드지원은 qconfig에서 설정이 가능하다. post training quantization qconfig = torch.quan..