SMooDi: Stylized Motion Diffusion Model

要約

SMooDi と呼ばれる新しい Stylized Motion Diffusion モデルを導入し、コンテンツ テキストとスタイル モーション シーケンスによって駆動される様式化されたモーションを生成します。
さまざまなコンテンツのモーションを生成したり、あるシーケンスから別のシーケンスにスタイルを転送したりする既存の方法とは異なり、SMooDi は広範囲のコンテンツと多様なスタイルにわたってモーションを迅速に生成できます。
この目的を達成するために、事前にトレーニングされたテキストからモーションへのモデルをスタイル化に合わせて調整します。
具体的には、生成されたモーションが参照スタイルに厳密に一致することを保証するスタイル ガイダンスと、リアリズムを確保しながらモーションを目的のスタイルに向ける軽量のスタイル アダプターを提案します。
さまざまなアプリケーションにわたる実験により、私たちが提案したフレームワークが様式化されたモーション生成において既存の方法よりも優れていることが実証されました。

要約(オリジナル)

We introduce a novel Stylized Motion Diffusion model, dubbed SMooDi, to generate stylized motion driven by content texts and style motion sequences. Unlike existing methods that either generate motion of various content or transfer style from one sequence to another, SMooDi can rapidly generate motion across a broad range of content and diverse styles. To this end, we tailor a pre-trained text-to-motion model for stylization. Specifically, we propose style guidance to ensure that the generated motion closely matches the reference style, alongside a lightweight style adaptor that directs the motion towards the desired style while ensuring realism. Experiments across various applications demonstrate that our proposed framework outperforms existing methods in stylized motion generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google