Efficient Text-driven Motion Generation via Latent Consistency Training

要約

拡散戦略に基づくテキスト駆動の人間の動作生成は、人間とコンピューターの対話におけるマルチモーダル アプリケーションの信頼できる基盤を確立します。
しかし、既存の進歩は、推論フェーズ中に非線形逆拡散軌道を反復的に解くことによるかなりの計算オーバーヘッドにより、効率性の大きな課題に直面しています。
この目的を達成するために、我々はモーション潜在一貫性トレーニング フレームワーク (MLCT) を提案します。MLCT は、トレーニング段階で生データから逆拡散軌道を事前計算し、推論段階で自己一貫性制約を介して数ステップまたは単一ステップの推論を可能にします。
具体的には、量子化制約を備えたモーション オートエンコーダが、モーション拡散プロセス用の簡潔で制限された解分布を構築するために最初に提案されます。
続いて、追加の無条件損失関数を介して分類器を使用しないガイダンス形式が構築され、トレーニング段階での条件付き拡散軌跡の事前計算が完了します。
最後に、K 最近傍アルゴリズムに基づくクラスタリング ガイダンス モジュールが、自己無矛盾性制約の連鎖伝導最適化メカニズムのために開発され、少ないクエリ コストで解分布の追加参照を提供します。
これらの機能強化を組み合わせることで、非ピクセル モダリティおよび潜在表現空間での安定した一貫性のあるトレーニングを実現します。
ベンチマーク実験では、私たちの手法がトレーニングコストを削減しながら従来の一貫性蒸留手法を大幅に上回っており、整合性モデルを強化して推論コストを低く抑えながら最先端のモデルと同等のパフォーマンスを実現できることを示しています。

要約(オリジナル)

Text-driven human motion generation based on diffusion strategies establishes a reliable foundation for multimodal applications in human-computer interactions. However, existing advances face significant efficiency challenges due to the substantial computational overhead of iteratively solving for nonlinear reverse diffusion trajectories during the inference phase. To this end, we propose the motion latent consistency training framework (MLCT), which precomputes reverse diffusion trajectories from raw data in the training phase and enables few-step or single-step inference via self-consistency constraints in the inference phase. Specifically, a motion autoencoder with quantization constraints is first proposed for constructing concise and bounded solution distributions for motion diffusion processes. Subsequently, a classifier-free guidance format is constructed via an additional unconditional loss function to accomplish the precomputation of conditional diffusion trajectories in the training phase. Finally, a clustering guidance module based on the K-nearest-neighbor algorithm is developed for the chain-conduction optimization mechanism of self-consistency constraints, which provides additional references of solution distributions at a small query cost. By combining these enhancements, we achieve stable and consistency training in non-pixel modality and latent representation spaces. Benchmark experiments demonstrate that our method significantly outperforms traditional consistency distillation methods with reduced training cost and enhances the consistency model to perform comparably to state-of-the-art models with lower inference costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google