Multi-Track Timeline Control for Text-Driven 3D Human Motion Generation

要約

最近の生成モデリングの進歩により、短いプロンプトと指定された長さからキャラクター アニメーションを生成できるメソッドを使用して、テキストから 3D 人間のモーションを合成することが期待できる進歩につながりました。
ただし、単一のテキスト プロンプトを入力として使用すると、複数のアクションを構成したり、モーションの一部の正確な継続時間を定義したりするなど、アニメーターが必要とするきめ細かい制御が不足します。
これに対処するために、テキスト駆動モーション合成のタイムライン制御という新しい問題を導入します。これは、直感的でありながらきめの細かい入力インターフェイスをユーザーに提供します。
ユーザーは、単一のプロンプトの代わりに、重複する可能性のある時間間隔で編成された複数のプロンプトのマルチトラック タイムラインを指定できます。
これにより、各アクションの正確なタイミングを指定したり、複数のアクションを順番に、または重複した間隔で構成したりすることが可能になります。
マルチトラック タイムラインから複合アニメーションを生成するために、新しいテスト時のノイズ除去方法を提案します。
この方法は、事前にトレーニングされたモーション拡散モデルと統合して、タイムラインを正確に反映する現実的なモーションを合成できます。
ノイズ除去の各ステップで、私たちの方法は各タイムライン間隔 (テキスト プロンプト) を個別に処理し、その後、各アクションに関与する特定の体の部位を考慮して予測を集計します。
実験的な比較とアブレーションにより、私たちの方法が、与えられたテキスト プロンプトのセマンティクスとタイミングを尊重した現実的なモーションを生成することが検証されます。
私たちのコードとモデルは https://mathis.petrovich.fr/stmc で公開されています。

要約(オリジナル)

Recent advances in generative modeling have led to promising progress on synthesizing 3D human motion from text, with methods that can generate character animations from short prompts and specified durations. However, using a single text prompt as input lacks the fine-grained control needed by animators, such as composing multiple actions and defining precise durations for parts of the motion. To address this, we introduce the new problem of timeline control for text-driven motion synthesis, which provides an intuitive, yet fine-grained, input interface for users. Instead of a single prompt, users can specify a multi-track timeline of multiple prompts organized in temporal intervals that may overlap. This enables specifying the exact timings of each action and composing multiple actions in sequence or at overlapping intervals. To generate composite animations from a multi-track timeline, we propose a new test-time denoising method. This method can be integrated with any pre-trained motion diffusion model to synthesize realistic motions that accurately reflect the timeline. At every step of denoising, our method processes each timeline interval (text prompt) individually, subsequently aggregating the predictions with consideration for the specific body parts engaged in each action. Experimental comparisons and ablations validate that our method produces realistic motions that respect the semantics and timing of given text prompts. Our code and models are publicly available at https://mathis.petrovich.fr/stmc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google