DiffMimic: Efficient Motion Mimicking with Differentiable Physics

要約

タイトル：DiffMimic: Efficient Motion Mimicking with Differentiable Physics
要約：
– 物理ベースのキャラクターアニメーションにおいて、モーションマネジメントは重要なタスクの1つである。
– しかし、多くの既存のモーションマネジメント手法は、強化学習に基づいており、報酬設計の重さ、高いバリアンス、および難しい探査による収束の遅さに苦しんでいる。
– その結果、単純なモーションシーケンスを模倣するには、通常数時間または数日のトレーニングが必要であり、スケーラビリティに問題がある。
– 本研究では、微分可能な物理シミュレータ（DPS）を活用し、DiffMimicという効率的な動作模倣手法を提案している。
– 物理シミュレータは、複雑なポリシー学習タスクを、はるかに簡単な状態マッチング問題に変換することができるという洞察から、より高速で安定した収束をもたらす。
– また、局所最適解から脱出するために、長期的なホライズンでも安定した勾配逆伝播を可能にするデモンストレーションリプレイメカニズムを利用している。
– 標準ベンチマークにおける広範な実験により、DiffMimicは、DeepMimicなどの既存の手法よりもサンプル効率性と時間効率性が優れていることが示されている。
– 特に、DiffMimicを使用すると、物理シミュレーションされたキャラクターは、10分のトレーニングでBackflipを学び、3時間のトレーニングでサイクルすることができるようになりますが、既存の手法ではBackflipをサイクルするには約1日のトレーニングが必要です。
– さらに重要なことに、DiffMimicは、将来的に異なる可能性がある微分可能なアニメーションシステム（例：微分可能な衣服シミュレーション）にも活用されることを期待している。

要約(オリジナル)

Motion mimicking is a foundational task in physics-based character animation. However, most existing motion mimicking methods are built upon reinforcement learning (RL) and suffer from heavy reward engineering, high variance, and slow convergence with hard explorations. Specifically, they usually take tens of hours or even days of training to mimic a simple motion sequence, resulting in poor scalability. In this work, we leverage differentiable physics simulators (DPS) and propose an efficient motion mimicking method dubbed DiffMimic. Our key insight is that DPS casts a complex policy learning task to a much simpler state matching problem. In particular, DPS learns a stable policy by analytical gradients with ground-truth physical priors hence leading to significantly faster and stabler convergence than RL-based methods. Moreover, to escape from local optima, we utilize a Demonstration Replay mechanism to enable stable gradient backpropagation in a long horizon. Extensive experiments on standard benchmarks show that DiffMimic has a better sample efficiency and time efficiency than existing methods (e.g., DeepMimic). Notably, DiffMimic allows a physically simulated character to learn Backflip after 10 minutes of training and be able to cycle it after 3 hours of training, while the existing approach may require about a day of training to cycle Backflip. More importantly, we hope DiffMimic can benefit more differentiable animation systems with techniques like differentiable clothes simulation in future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI