MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model

要約

この取り組みでは MotionLCM が導入され、制御可能なモーション生成がリアルタイム レベルに拡張されます。
テキスト条件付きモーション生成における空間制御の既存の方法には、実行時の大幅な非効率性があります。
この問題に対処するために、我々はまず、潜在拡散モデル (MLD) に基づいて、モーション生成のためのモーション潜在一貫性モデル (MotionLCM) を提案します。
1 ステップ (または数ステップ) の推論を採用することで、モーション生成のためのモーション潜在拡散モデルの実行効率がさらに向上します。
効果的な制御性を確保するために、MotionLCM の潜在空間内にモーション ControlNet を組み込み、バニラ モーション空間で明示的な制御信号 (骨盤軌道など) を有効にして、モーションの他の潜在フリー拡散モデルを制御するのと同様に、生成プロセスを直接制御します。
世代。
これらの技術を採用することで、私たちのアプローチは、リアルタイムでテキストと制御信号で人間の動きを生成することができます。
実験結果は、リアルタイムのランタイム効率を維持しながら、MotionLCM の驚くべき生成および制御機能を実証しています。

要約(オリジナル)

This work introduces MotionLCM, extending controllable motion generation to a real-time level. Existing methods for spatial control in text-conditioned motion generation suffer from significant runtime inefficiency. To address this issue, we first propose the motion latent consistency model (MotionLCM) for motion generation, building upon the latent diffusion model (MLD). By employing one-step (or few-step) inference, we further improve the runtime efficiency of the motion latent diffusion model for motion generation. To ensure effective controllability, we incorporate a motion ControlNet within the latent space of MotionLCM and enable explicit control signals (e.g., pelvis trajectory) in the vanilla motion space to control the generation process directly, similar to controlling other latent-free diffusion models for motion generation. By employing these techniques, our approach can generate human motions with text and control signals in real-time. Experimental results demonstrate the remarkable generation and controlling capabilities of MotionLCM while maintaining real-time runtime efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google