생각하는 기계공장
Contact and Human Dynamics from Monocular Video, 2020, ECCV 본문
Goal
Video input들로 feet의 penestration, sliding (Contact 요소)를 고려하는 physics-based 방법론을 제시한다.
Method
- Video로 부터 얻은 2D pose data는 Contact Estimation (MLP model)을 통해 Foot joint에 한해서 Contact 여부에 대해 classfication됨.
- Contact Estimation model의 경우 이전 time의 foot 상태와 현재 foot 상태가 2cm 이동한 경우 & ground plane 위로 5cm 이내에 있는 경우 contact이라 분류하도록 학습된다.
- 이후 Kinematic Initialization단계에서 contact label은 2D, 3D pose data와 함께 input으로 고려되고 3D full-body motion을 계산함으로써 physics-based optimization에 요구되는 input(trajectory of COM, feet and inertia tensor)을 뱉어낸다.
- 최종적으로 physics-based optimization은 초기 모션과 contact을 유지하는 Energy function(Edata, Edur), 보다 부드러운 결과를 얻기 위한 regularizer term(Evel, Eacc)을 설정하여 foot contact이 고려된 모션 정보를 계산한다.
My Opinion
본 논문의 경우 foot contact만을 고려하고 Optimization의 경우도 매우 느리다(2초 video clip -> 30~1hour 소요). 사실상 다른 요소와의 interaction도 매우 중요한데 이런 점을 고려하지 않는다는 점. 만약 고려한다고 하더라도 엄청난 시간이 필요하다는 점에서는 아쉬운 점인 듯 하다. 추가적으로 해당 논문의 Physics-Based Optimization 좀 더 깊은 이해를 위해, 언급된 "Gait and trajectory optimization for legged systems through phase-based end effector parameterization. RA-L" 논문을 읽어봐야겠다.
'논문 리뷰' 카테고리의 다른 글
SimPoE: Simulated Character Control for 3D Human Pose Estimation, CVPR, 2021 (Oral) (0) | 2022.03.06 |
---|