SimPoE: Simulated Character Control for 3D Human Pose Estimation, CVPR, 2021 (Oral)

 

 

 

이후 연구 주제로 생각하는 Dynamics를 고려한 motion retargeting 연구를 위해 읽어본 논문

Contribution

batch trajectory optimization 없이 real-time에서도 돌아가고, 강화학습방법론이 적용, Image-based kinematic inference와 physics-based dynamics modeling이 결합된 Casual 3D human pose estimation 방법론 제시.

 

Method

1) Next Frame에 대한 Video data를 인풋으로 t+1에 해당하는 keypoint Detector, Pose Estimator를 통해 pose에 대한 데이터(keypoints, cofidence, pose)를 계산

2) Next Frame kinematic pose(q~_t+1)는 Kinematics-Refinement Unit(R)에서 반복적으로 keypoints(x~_t+1)와 confidence(c_t+1)를 고려하여 refine.

3) refine kinematic pose(q~_t+1)와 현재 pose(q_t), vel(q'_t) data는 Control Generation Unit(g)의 인풋이 되고 refine된 kinematic pose(q~_t+1)는 residual connection으로 optimal next pose(q_t+1)를 찾는데 영향을 주고, PD controller target angles (ut)를 계산하게 함.

4) 여기서 ut는 최종 q_t+1가 아님. 해당 논문은 Meta-PD control 방법을 제안하는데 고정된 parameter(k)를 manual하게 수정하고 결정하는 것이 아닌, character 상태에 따라 k를 dynamically하게 조정한다. 

5) 이때의 parameter가 gamma이며 이 값은 ut와 함께 최종 action를 뱉어내며 PD controller, physics engine을 거쳐 kinematic+dynamics가 고려된 최종 q_t+1를 도출한다.

 

My Opinion

해당 논문은 agent를 학습시켜 MDP로 formulate될 수 있는 human motion을 생성하는 문제로 보고 있다는 점에서, 이전 RL을 사용하여 Mimic하는 방법과 크게 다르지 않다고도 볼 수 있다. 하지만, Meta-PD control로 하여금 manual dynamics parameter tuning을 없애고 network내에서 작동하면서 finer charater control를 하게 한다는 점이 다른 것과의 차이로 보인다. 정리하자면, 정말 쉽게, video 데이터만 넣어주면 사람이 일일이 control parameter 안 넣어줘도 네트워크 안에서 알아서 찾아주고 physical plausibility이 고려된 Pose-estimation정보가 나온다는 점에서 체크해볼 만하다.