Survey Gesture

- An Efficient PointLSTM for Point Clouds Based Gesture Recognition CVPR2020

NVGesture에서 Accuracy: 87.9 ( 1st 2021-01-27 확인, paperswithcode.com/sota/hand-gesture-recognition-on-nvgesture-1)

스켈레톤 기반 인식 방법, 시퀀스 기반 모델.

제스쳐 인식을 불규칙적인 순서 인식으로 공식화. 포인트 클라우드의 긴 기간 공간 상관을 캡쳐

PointLSTM을 이용해 이웃 포인트의 과거 지금 미래 LSTM layer.

NVGesture and SHREC’17 에서 더 좋은 성능을 보였고, MSR Action3D을 이용해 일반화를 보임.

 

- Real-time Hand Gesture Detection and Classification Using Convolutional Neural Networks FG 2019 - best student paper

1. 제스쳐의 시작과 끝은 어디?

2. 제스쳐 중복인식 방지는 어떻게?

3. 메모리와 베터리 소모를 감안하여 모델링했다.

계층적 구조를 사용, 온라인 동작 슬라이딩 윈도우

두개의 모델로 구성 1은 제스쳐 디텍션, 2는 클래시피케이션. 

1장 한 프레임 분류하기 위해 평가 메트릭으로 레베슈타인 디스턴스를 사용하였다. 

잘 못 분류한 것, 다중 검출, 검출 안된것에 대한 거리를 측정할 수 있다.

EgoGesture와 NVIDIA Dynamic Hand Gesture Datasets을 이용하여 평가하였다.

이 데이터셋은 템퍼럴 검출과 분류 를 필요로 한다.

ResNeXt-101 모델을 분류기로 사용하였고, 94.04% and 83.82% 성능을 달성하였다.