PhysDiff: Physics-Guided Human Motion Diffusion Model

要約

デノイジング拡散モデルは、多様でリアルな人物モーションを生成するために大きな期待が寄せられています。しかし、既存の運動拡散モデルは、拡散過程における物理法則をほとんど無視しており、浮遊、足すべり、地面貫通などの顕著なアーチファクトを伴う物理的にありえない運動を生成することが多い。このため、生成されたモーションの品質に大きな影響を与え、実環境での適用に限界がある。本論文では、物理的な制約を拡散過程に組み込んだ物理誘導型動作拡散モデル（PhysDiff）を提案する。具体的には、物理シミュレータにおける動作模倣を利用して、拡散ステップのノイズ除去された動作を物理的にありそうな動作に投影する、物理ベースの動作投影モジュールを提案する。投影された運動はさらに次の拡散ステップで使用され、ノイズ除去の拡散プロセスをガイドする。このように、本モデルでは物理を用いることで、物理的にありそうな空間へ繰り返し運動を誘導することができる。大規模な人体運動データセットを用いた実験により、我々のアプローチが最先端の運動品質を達成し、物理的妥当性を劇的に向上させることが示された（全てのデータセットで78%以上）。

要約(オリジナル)

Denoising diffusion models hold great promise for generating diverse and realistic human motions. However, existing motion diffusion models largely disregard the laws of physics in the diffusion process and often generate physically-implausible motions with pronounced artifacts such as floating, foot sliding, and ground penetration. This seriously impacts the quality of generated motions and limits their real-world application. To address this issue, we present a novel physics-guided motion diffusion model (PhysDiff), which incorporates physical constraints into the diffusion process. Specifically, we propose a physics-based motion projection module that uses motion imitation in a physics simulator to project the denoised motion of a diffusion step to a physically-plausible motion. The projected motion is further used in the next diffusion step to guide the denoising diffusion process. Intuitively, the use of physics in our model iteratively pulls the motion toward a physically-plausible space. Experiments on large-scale human motion datasets show that our approach achieves state-of-the-art motion quality and improves physical plausibility drastically (>78% for all datasets).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL