Guided Motion Diffusion for Controllable Human Motion Synthesis

要約

ノイズ除去拡散モデルは、自然言語記述を条件とした人間の動きの合成において大きな期待を示しています。
しかし、事前定義された動作軌道や障害物などの空間的制約を統合することは、人間の孤立した動作とその周囲の環境との間のギャップを埋めるために不可欠であるにもかかわらず、依然として課題が残っています。
この問題に対処するために、モーション生成プロセスに空間制約を組み込む方法である Guided Motion Diffusion (GMD) を提案します。
具体的には、空間情報と局所姿勢の間の一貫性を高めるために動き表現を操作する効果的な特徴投影スキームを提案します。
新しい代入公式と組み合わせることで、生成されたモーションはグローバル モーション軌道などの空間制約に確実に準拠できます。
さらに、疎な空間制約 (疎なキーフレームなど) を考慮して、逆ステップ中に無視されやすい疎な信号をより密な信号に変換して、生成されたモーションを指定された制約に導くための新しい密なガイダンス アプローチを導入します。
私たちの広範な実験により、GMD の開発が正当化されました。GMD は、空間的制約を伴う合成モーションの制御を可能にしながら、テキストベースのモーション生成における最先端の手法を大幅に改善しました。

要約(オリジナル)

Denoising diffusion models have shown great promise in human motion synthesis conditioned on natural language descriptions. However, integrating spatial constraints, such as pre-defined motion trajectories and obstacles, remains a challenge despite being essential for bridging the gap between isolated human motion and its surrounding environment. To address this issue, we propose Guided Motion Diffusion (GMD), a method that incorporates spatial constraints into the motion generation process. Specifically, we propose an effective feature projection scheme that manipulates motion representation to enhance the coherency between spatial information and local poses. Together with a new imputation formulation, the generated motion can reliably conform to spatial constraints such as global motion trajectories. Furthermore, given sparse spatial constraints (e.g. sparse keyframes), we introduce a new dense guidance approach to turn a sparse signal, which is susceptible to being ignored during the reverse steps, into denser signals to guide the generated motion to the given constraints. Our extensive experiments justify the development of GMD, which achieves a significant improvement over state-of-the-art methods in text-based motion generation while allowing control of the synthesized motions with spatial constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google