생각하는 기계공장
SimPoE: Simulated Character Control for 3D Human Pose Estimation, CVPR, 2021 (Oral) 본문
SimPoE: Simulated Character Control for 3D Human Pose Estimation, CVPR, 2021 (Oral)
JEONG.T.M 2022. 3. 6. 15:10
이후 연구 주제로 생각하는 Dynamics를 고려한 motion retargeting 연구를 위해 읽어본 논문
Contribution
batch trajectory optimization 없이 real-time에서도 돌아가고, 강화학습방법론이 적용, Image-based kinematic inference와 physics-based dynamics modeling이 결합된 Casual 3D human pose estimation 방법론 제시.
Method
1) Next Frame에 대한 Video data를 인풋으로 t+1에 해당하는 keypoint Detector, Pose Estimator를 통해 pose에 대한 데이터(keypoints, cofidence, pose)를 계산
2) Next Frame kinematic pose(q~_t+1)는 Kinematics-Refinement Unit(R)에서 반복적으로 keypoints(x~_t+1)와 confidence(c_t+1)를 고려하여 refine.
3) refine kinematic pose(q~_t+1)와 현재 pose(q_t), vel(q'_t) data는 Control Generation Unit(g)의 인풋이 되고 refine된 kinematic pose(q~_t+1)는 residual connection으로 optimal next pose(q_t+1)를 찾는데 영향을 주고, PD controller target angles (ut)를 계산하게 함.
4) 여기서 ut는 최종 q_t+1가 아님. 해당 논문은 Meta-PD control 방법을 제안하는데 고정된 parameter(k)를 manual하게 수정하고 결정하는 것이 아닌, character 상태에 따라 k를 dynamically하게 조정한다.
5) 이때의 parameter가 gamma이며 이 값은 ut와 함께 최종 action를 뱉어내며 PD controller, physics engine을 거쳐 kinematic+dynamics가 고려된 최종 q_t+1를 도출한다.
My Opinion
해당 논문은 agent를 학습시켜 MDP로 formulate될 수 있는 human motion을 생성하는 문제로 보고 있다는 점에서, 이전 RL을 사용하여 Mimic하는 방법과 크게 다르지 않다고도 볼 수 있다. 하지만, Meta-PD control로 하여금 manual dynamics parameter tuning을 없애고 network내에서 작동하면서 finer charater control를 하게 한다는 점이 다른 것과의 차이로 보인다. 정리하자면, 정말 쉽게, video 데이터만 넣어주면 사람이 일일이 control parameter 안 넣어줘도 네트워크 안에서 알아서 찾아주고 physical plausibility이 고려된 Pose-estimation정보가 나온다는 점에서 체크해볼 만하다.
'논문 리뷰' 카테고리의 다른 글
Contact and Human Dynamics from Monocular Video, 2020, ECCV (0) | 2022.03.13 |
---|