SMCD: High Realism Motion Style Transfer via Mamba-based Diffusion

要約

モーションスタイルの転送は、コンピュータービジョンの分野における重要な研究方向であり、仮想デジタル人間が同じ動きの異なるスタイルを迅速に切り替えることができるため、動きの豊かさとリアリズムを大幅に向上させることができます。
映画、ゲーム、メタバースなどのマルチメディアシナリオに広く適用されています。
ただし、ほとんどの既存の方法は2ストリーム構造を採用しています。これは、コンテンツとスタイルの動きの本質的な関係を見落とす傾向があり、情報の損失と不十分な調整につながります。
さらに、長距離モーションシーケンスを処理するとき、これらの方法は時間的依存性を効果的に学習することができず、最終的に不自然な生成された動きをもたらします。
これらの制限に対処するために、統一されたモーションスタイルの拡散（UMSD）フレームワークを提案します。これは、コンテンツとスタイルの両方のモーションから機能を同時に抽出し、十分な情報相互作用を促進します。
さらに、MAMBAの強力なシーケンスモデリング機能を活用するために、モーションスタイル転送の分野での最初のアプローチであるモーションスタイルMAMBA（MSM）Denoiserを紹介します。
一時的な関係をより適切にキャプチャすると、よりコヒーレントな様式化されたモーションシーケンスが生成されます。
第三に、拡散ベースのコンテンツの一貫性の損失とスタイルの一貫性の損失を設計してフレームワークを制約し、スタイルモーションの特性を効果的に学習しながらコンテンツの動きを継承します。
最後に、広範な実験は、私たちの方法が定性的および定量的に最先端の（SOTA）メソッドよりも優れており、より現実的で一貫したモーションスタイルの転送を達成することを示しています。

要約(オリジナル)

Motion style transfer is a significant research direction in the field of computer vision, enabling virtual digital humans to rapidly switch between different styles of the same motion, thereby significantly enhancing the richness and realism of movements. It has been widely applied in multimedia scenarios such as films, games, and the metaverse. However, most existing methods adopt a two-stream structure, which tends to overlook the intrinsic relationship between content and style motions, leading to information loss and poor alignment. Moreover, when handling long-range motion sequences, these methods fail to effectively learn temporal dependencies, ultimately resulting in unnatural generated motions. To address these limitations, we propose a Unified Motion Style Diffusion (UMSD) framework, which simultaneously extracts features from both content and style motions and facilitates sufficient information interaction. Additionally, we introduce the Motion Style Mamba (MSM) denoiser, the first approach in the field of motion style transfer to leverage Mamba’s powerful sequence modelling capability. Better capturing temporal relationships generates more coherent stylized motion sequences. Third, we design a diffusion-based content consistency loss and a style consistency loss to constrain the framework, ensuring that it inherits the content motion while effectively learning the characteristics of the style motion. Finally, extensive experiments demonstrate that our method outperforms state-of-the-art (SOTA) methods qualitatively and quantitatively, achieving more realistic and coherent motion style transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google