MotionAug: Augmentation with Physical Correction for Human Motion Prediction

要約

この論文では、多様性を促進するモーション合成と物理的妥当性を課すモーション補正を組み込んだモーションデータ拡張スキームを提示します。
このモーション合成は、修正された Variational AutoEncoder (VAE) と Inverse Kinematics (IK) で構成されています。
この VAE では、我々が提案するサンプリング ニア サンプル法により、トレーニング モーション データが不十分な場合でも、さまざまな有効なモーションが生成されます。
IK ベースのモーション合成方法により、さまざまなモーションを半自動で生成できます。
これら 2 つのスキームは、合成されたモーションに非現実的なアーティファクトを生成するため、モーション補正によってそれらが修正されます。
このモーション補正スキームは、物理シミュレーションによる模倣学習と、その後のモーション デバイアスで構成されます。
この模倣学習のために、トレーニング プロセスを大幅に加速する PD 残差力を提案します。
さらに、私たちのモーション デバイアスは、模倣学習によって引き起こされるモーション バイアスをうまく相殺して、拡張の効果を最大化します。
その結果、我々の方法は、リカレントニューラルネットワークベースとグラフ畳み込みネットワークベースの人間の動き予測モデルの両方で、以前のノイズベースの動き拡張方法よりも優れています。
コードは https://github.com/meaten/MotionAug で入手できます。

要約(オリジナル)

This paper presents a motion data augmentation scheme incorporating motion synthesis encouraging diversity and motion correction imposing physical plausibility. This motion synthesis consists of our modified Variational AutoEncoder (VAE) and Inverse Kinematics (IK). In this VAE, our proposed sampling-near-samples method generates various valid motions even with insufficient training motion data. Our IK-based motion synthesis method allows us to generate a variety of motions semi-automatically. Since these two schemes generate unrealistic artifacts in the synthesized motions, our motion correction rectifies them. This motion correction scheme consists of imitation learning with physics simulation and subsequent motion debiasing. For this imitation learning, we propose the PD-residual force that significantly accelerates the training process. Furthermore, our motion debiasing successfully offsets the motion bias induced by imitation learning to maximize the effect of augmentation. As a result, our method outperforms previous noise-based motion augmentation methods by a large margin on both Recurrent Neural Network-based and Graph Convolutional Network-based human motion prediction models. The code is available at https://github.com/meaten/MotionAug.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google