FrankMocap: Fast Monocular 3D Hand and Body Motion Captureby Regression and Integration

손 

아래 3논문으로 부터 영감을 받아서 만듬.

End-to-end recovery of human shape and pose

Learning 3d human dynamics from video

Learning to reconstruct 3d human pose and shape via model-fitting in the loop

핸드 모델 파라미터를 엔드투엔드로 예측하는 모델

엔코더 디코더 구조, 엔코더는 resnet50사용, 디코더는 fcl 이다.

오른 손만 학습했다. 왼손은 플립해서 오른손만 학습했다.

3가지 어노테이션 고려함

1. 3D 포즈 각도 loss x 10

2. 3D 조인트 위치 loss x 100

3. 2D 조인트 위치 loss x 10

4. shape regularization x 0.1

셰입 파라미터는 사용하지 않았다. 

SMPL-X모델의 손을 사용했기때문에

프리핸드와 같은 디비에서 제공하는 셰입 파람은 MANO 모데을 위한 것이라 사용안함.

다만 셰입에 레귤러라이제이션 로스만 적용했다.

- 프리프로세싱

몸 연구에서 다양한 데이터셋을 사용이 일반화에 도움을 준다.

Delving deep into hybrid annotations for 3d human recovery in the wild

FreiHand 와 HO-3D는 조인트 각도를 제공하지만 다른 디비들은 가지고 있지 않다.

디비들의 다양한 이미지 스케일과 스케레톤 구조 다루기 위해 정규화 했다.

중지의 크기를 기준으로 정규화, 조인트 순서 같게, 

- 증강

End-to-end hand mesh recovery from a monocular rgb image

스케일, 로테이션, 이동, 컬러 지터

모션 블러

Uniform motion blur in poissonian noise: Blur/noise tradeoff.

Modeling the performance of image restoration from motion blur.

- DB

-- FreiHAND

Freihand: A dataset for markerless capture of hand pose and shape from single rgb images

3D 조인트, MANO 파라미터, 멀티카메라로 구함, 반자동으로 만듬, 가상 배경을 사용함,

학습 셋에서 80으로 학습 20을 벨리함.

-- HO-3D

Honnotate: A method for 3d annotation of hand and objects poses

손과 오브젝트 상호 작용, 3D 조인트, MANO 파라미터, 3D BBox, 

학습 셋에서 80으로 학습 20을 벨리함.

-- MTC

Monocular total capture: Posing face, body, and hands in the wild.

A massively multiview system for social motion capture

Panoptic studio: A massively multiview system for social interaction capture