Human Motion Diffusion Model

要約

自然で表現力豊かな人間の動きの生成は、コンピューター アニメーションの究極の目標です。
可能な動きの多様性、それに対する人間の知覚感度、および正確に記述することの難しさのために、それは困難な作業です。
したがって、現在のジェネレーティブ ソリューションは、品質が低いか、表現力が限られています。
拡散モデルは、他の分野で顕著な生成能力をすでに示しており、その多対多の性質により、人間の動きの有望な候補ですが、リソースを大量に消費し、制御が難しい傾向があります。
このホワイト ペーパーでは、モーション ディフュージョン モデル (MDM) を紹介します。これは、人間のモーション ドメイン用に慎重に適合された、分類子を使用しない拡散ベースの生成モデルです。
MDM はトランスフォーマーに基づいており、モーション生成に関する文献からの洞察を組み合わせています。
注目すべき設計上の選択は、各拡散ステップでのノイズではなく、サンプルの予測です。
これにより、足の接触損失など、モーションの位置と速度で確立された幾何学的損失の使用が容易になります。
説明したように、MDM は一般的なアプローチであり、さまざまな条件付けモードとさまざまな生成タスクを可能にします。
私たちのモデルが軽量のリソースでトレーニングされているにもかかわらず、text-to-motion および action-to-motion の主要なベンチマークで最先端の結果を達成していることを示しています。
https://guytevet.github.io/mdm-page/ .

要約(オリジナル)

Natural and expressive human motion generation is the holy grail of computer animation. It is a challenging task, due to the diversity of possible motion, human perceptual sensitivity to it, and the difficulty of accurately describing it. Therefore, current generative solutions are either low-quality or limited in expressiveness. Diffusion models, which have already shown remarkable generative capabilities in other domains, are promising candidates for human motion due to their many-to-many nature, but they tend to be resource hungry and hard to control. In this paper, we introduce Motion Diffusion Model (MDM), a carefully adapted classifier-free diffusion-based generative model for the human motion domain. MDM is transformer-based, combining insights from motion generation literature. A notable design-choice is the prediction of the sample, rather than the noise, in each diffusion step. This facilitates the use of established geometric losses on the locations and velocities of the motion, such as the foot contact loss. As we demonstrate, MDM is a generic approach, enabling different modes of conditioning, and different generation tasks. We show that our model is trained with lightweight resources and yet achieves state-of-the-art results on leading benchmarks for text-to-motion and action-to-motion. https://guytevet.github.io/mdm-page/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google