MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis

要約

人間の動きを合成するための従来の方法は、決定論的であるか、動きの多様性と動きの品質の間のトレードオフに悩まされていました。
これらの制限に対応して、MoFusion を導入します。これは、さまざまな条件付けコンテキスト (たとえば、
音楽とテキスト）。
また、スケジュールされた重み付け戦略を通じて、モーション拡散フレームワーク内でモーションの妥当性を高めるためのよく知られた運動学的損失を導入する方法も示します。
学習された潜在空間は、中間、シード コンディショニング、テキストベースの編集など、いくつかのインタラクティブなモーション編集アプリケーションに使用でき、仮想キャラクター アニメーションやロボット工学に重要な能力を提供します。
包括的な定量的評価とユーザーの知覚調査を通じて、文献で確立されたベンチマークで最先端技術と比較した MoFusion の有効性を実証します。
読者には、補足ビデオを視聴し、https://vcai.mpi-inf.mpg.de/projects/MoFusion にアクセスすることをお勧めします。

要約(オリジナル)

Conventional methods for human motion synthesis are either deterministic or struggle with the trade-off between motion diversity and motion quality. In response to these limitations, we introduce MoFusion, i.e., a new denoising-diffusion-based framework for high-quality conditional human motion synthesis that can generate long, temporally plausible, and semantically accurate motions based on a range of conditioning contexts (such as music and text). We also present ways to introduce well-known kinematic losses for motion plausibility within the motion diffusion framework through our scheduled weighting strategy. The learned latent space can be used for several interactive motion editing applications — like inbetweening, seed conditioning, and text-based editing — thus, providing crucial abilities for virtual character animation and robotics. Through comprehensive quantitative evaluations and a perceptual user study, we demonstrate the effectiveness of MoFusion compared to the state of the art on established benchmarks in the literature. We urge the reader to watch our supplementary video and visit https://vcai.mpi-inf.mpg.de/projects/MoFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google