MoTe: Learning Motion-Text Diffusion Model for Multiple Generation Tasks

要約

最近、人間の動作分析は、ノイズ除去拡散モデルや大規模言語モデルなどの刺激的な生成モデルのおかげで大幅に改善されました。
既存のアプローチは主にテキスト記述によるモーションの生成に焦点を当てており、相互のタスクを見落としています。
この論文では、動きとテキストの周辺分布、条件分布、結合分布を同時に学習することで、多様なタスクを処理できる統合マルチモーダル モデル ~\textbf{MoTe} を紹介します。
MoTe を使用すると、入力コンテキストを変更するだけで、ペアのテキストとモーションの生成、モーション キャプション、およびテキスト駆動のモーション生成を処理できます。
具体的には、MoTe は、モーション エンコーダ/デコーダ (MED)、テキスト エンコーダ/デコーダ (TED)、およびモーション オン テキスト拡散モデル (MTDM) の 3 つのコンポーネントで構成されます。
特に、MED と TED は、潜在的な埋め込みを抽出し、続いて抽出された埋め込みからそれぞれモーション シーケンスとテキスト記述を再構築するようにトレーニングされています。
一方、MTDM は、入力コンテキストに対して反復的なノイズ除去プロセスを実行して、さまざまなタスクを処理します。
ベンチマーク データセットの実験結果は、テキストからモーションへの生成における私たちの提案方法の優れたパフォーマンスと、モーション キャプションの競合パフォーマンスを示しています。

要約(オリジナル)

Recently, human motion analysis has experienced great improvement due to inspiring generative models such as the denoising diffusion model and large language model. While the existing approaches mainly focus on generating motions with textual descriptions and overlook the reciprocal task. In this paper, we present~\textbf{MoTe}, a unified multi-modal model that could handle diverse tasks by learning the marginal, conditional, and joint distributions of motion and text simultaneously. MoTe enables us to handle the paired text-motion generation, motion captioning, and text-driven motion generation by simply modifying the input context. Specifically, MoTe is composed of three components: Motion Encoder-Decoder (MED), Text Encoder-Decoder (TED), and Moti-on-Text Diffusion Model (MTDM). In particular, MED and TED are trained for extracting latent embeddings, and subsequently reconstructing the motion sequences and textual descriptions from the extracted embeddings, respectively. MTDM, on the other hand, performs an iterative denoising process on the input context to handle diverse tasks. Experimental results on the benchmark datasets demonstrate the superior performance of our proposed method on text-to-motion generation and competitive performance on motion captioning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google