[Motion Retargeting] Evaluation Method

Contents

1. Motion Path Shape Similarity

2. Measurement of position error of a specific joint (MSE or MAE)

3. Success Rates Evaluation

4. User Study

5. Visual quantitative metrics

6. Visual Comparision

7. (최종) T-RO 논문 Evaluation 방법

 

1. Motion Path Shape Similarity

1) Frechet distance 계산 : trajectory similarity에 대한 정량적인 측정 방법, [0,1] 사이값으로 normalization한 Frechet distance값이 더 작은 경우 input trajectory를 더 잘 따랐다고 평가, 각 joint 별로 측정하여 비교한다. (Absolute position, Relative position trajectory를 비교하거나 orientation, joint angle trajectory를 비교할 수 있음)

관련 논문 : Dynamic Movement Primitive based Motion Retargeting for Dual-Arm Sign Language Motions, 2021

관련 논문 : Kinematic Motion Retargeting via Neural Latent Optimizationfor Learning Sign Language, 2021

 

2) 각 Joint별 Rotation matrix의 Roll, Pitch, Yaw 성분의 angle 값을 따로 분리하여 비교하고 Joint angle값이 Robot의 joint limits에 넘어가지 않는지 확인한다.

관련 논문 : Whole-Body Geometric Retargeting for Humanoid Robots, 2019

 

3) 모든 Joint angle trajectory의 Plot으로 Input trajectory를 잘 따라가는지 확인하고 Robustness를 측정하기 위해 CoM, ZMP point trajectory를 plot하여 성능을 평가한다.

관련 논문 : Robust Real-time Whole-Body Motion Retargeting from Human to Humanoid, 2018

 

4) Joint angle, Velocity, Torques의 XYZ Euler 성분을 분리하여 Original motion과 비교한다.

관련 논문 : Motion Retargeting for Humanoid Robots Based on Simultaneous Morphing Parameter Identification and Motion Optimization, 2017

2. Measurement of position error of a specific joint (MSE or MAE)

1) Controll된 End-Effector의 position과 실제로 도달해야하는 End-Effector의 position Error를 비교. (로봇이 오차없이 얼마나 잘 실행이 되었나를 보는 목적), 다리를 드는 모션을 수행함에 있어서 Foot joint의 position error도 추가로 평가한다.

관련 논문 : Real-time Imitation of Human Whole-Body Motions by Humanoids, 2014

 

2) 서로 다른 Kinematic structure 그리고 test set에 대해 리타게팅한 후의 Position distance average를 계산하여 평가

관련 논문 : Skeleton-Aware Networks for Deep Motion Retargeting, 2020, TOG

 

3) Character의 3D height으로 normalize된 Position Error (MSE) 계산

관련 논문 : Learning Character-Agnostic Motion for Motion Retargeting in 2D, 2019

 

4) Normalize MSE + End Effector location comparision + Rendering Quality

관련 논문 : Neural Kinematic Networks for Unsupervised Motion Retargetting, 2018

 

5) MSE + MAE 로 Joint Position Error계산

관련 논문 : TransMoMo: Invariance-Driven Unsupervised Video Motion Retargeting, 2020

3. Success Rates Evaluation

1) 각 방법론마다 모션 리타게팅으로 생성된 trajectory에 대해 feasible한 모션(self-collision 및 joint, velocity, acceleration limit에 벗어나지 않는 모션)인지 체크

- 100개 중 80개가 Feasible하다? Success rate = 80%

관련 논문 : Dynamic Movement Primitive based Motion Retargeting for Dual-Arm Sign Language Motions, 2021

4. User Study

1) Motion Evaluation + Geometry Evaluation + User Study

관련 논문 : Contact-Aware Retargeting of Skinned Motion, 2021

5. Visual quantitative metrics

1) Structural Similarity (SSIM), Learned Perceptual Image Patch Similarity (LPIPS), The average number of missed 2D joints` detections from OpenPose.

관련 논문 : Real-time Imitation of Human Whole-Body Motions by Humanoids, 2014

6. Visual Comparision

1) 단순히 로봇에 실제 적용에 의의를 두고 Visual Comparision을 통해 motion retargeting이 잘됨을 보이며 로봇이 넘어지지 않고 모션을 수행함을 보여서 안정성을 평가한다. (허허... 이렇게 평가도 하는 구나...)

관련 논문 : A Generative Human-Robot Motion Retargeting Approach using a Single Depth Sensor, 2017

 

∴ T-RO 논문 Evaluation 방법

1) Motion Path Shape Similarity Evaluation : Frechet distance

2) Feasible Motion Evaluation : Success Rates (Self-Collision)

3) Natural Motion Evaluation : User Study