Contact and Human Dynamics from Monocular Video, 2020, ECCV

 

Goal

Video input들로 feet의 penestration, sliding (Contact 요소)를 고려하는 physics-based 방법론을 제시한다.

Method

- Video로 부터 얻은 2D pose data는 Contact Estimation (MLP model)을 통해 Foot joint에 한해서 Contact 여부에 대해 classfication됨.

- Contact Estimation model의 경우 이전 time의 foot 상태와 현재 foot 상태가 2cm 이동한 경우 & ground plane 위로 5cm 이내에 있는 경우 contact이라 분류하도록 학습된다. 

- 이후 Kinematic Initialization단계에서 contact label은 2D, 3D pose data와 함께 input으로 고려되고 3D full-body motion을 계산함으로써 physics-based optimization에 요구되는 input(trajectory of COM, feet and inertia tensor)을 뱉어낸다.

- 최종적으로 physics-based optimization은 초기 모션과 contact을 유지하는 Energy function(Edata, Edur), 보다 부드러운 결과를 얻기 위한 regularizer term(Evel, Eacc)을 설정하여 foot contact이 고려된 모션 정보를 계산한다.

My Opinion

본 논문의 경우 foot contact만을 고려하고 Optimization의 경우도 매우 느리다(2초 video clip -> 30~1hour 소요). 사실상 다른 요소와의 interaction도 매우 중요한데 이런 점을 고려하지 않는다는 점. 만약 고려한다고 하더라도 엄청난 시간이 필요하다는 점에서는 아쉬운 점인 듯 하다. 추가적으로 해당 논문의 Physics-Based Optimization 좀 더 깊은 이해를 위해, 언급된 "Gait and trajectory optimization for legged systems through phase-based end effector parameterization. RA-L" 논문을 읽어봐야겠다.