Scalable Motion Style Transfer with Constrained Diffusion Generation

要約

現在のモーション スタイル転送システムのトレーニングは、コンテンツを保存するためにスタイル ドメイン間の一貫性の損失に依存しているため、多数のドメインやプライベート データへのスケーラブルなアプリケーションが妨げられています。
最近の画像転送の研究では、拡散モデル間の暗黙的なブリッジングを活用することで、各ドメインで独立したトレーニングが可能であることが示されていますが、コンテンツの保存は単純なデータ パターンに限定されています。
トレーニング段階でドメインの独立性を維持しながら、逆拡散でバイアスのあるサンプリングを課すことで、この問題に対処します。
ソース ドメインのキーフレームからバイアスを構築し、コンテンツ制約の勾配として適用して、キーフレーム多様体制約勾配 (KMCG) を備えたフレームワークを生成します。
私たちの検証では、最大 10 個のダンス モーション スタイル間を移行するように個別のモデルをトレーニングすることに成功したことが実証されています。
包括的な実験により、ベースラインおよびアブレーション拡散ベースのスタイル伝達モデルと比較して、モーション内容の保存において大幅な改善が見られました。
さらに、生成されたダンスモーションの品質を主観的に評価するために人間による研究を実行します。
結果は、KMCG の競争力を検証します。

要約(オリジナル)

Current training of motion style transfer systems relies on consistency losses across style domains to preserve contents, hindering its scalable application to a large number of domains and private data. Recent image transfer works show the potential of independent training on each domain by leveraging implicit bridging between diffusion models, with the content preservation, however, limited to simple data patterns. We address this by imposing biased sampling in backward diffusion while maintaining the domain independence in the training stage. We construct the bias from the source domain keyframes and apply them as the gradient of content constraints, yielding a framework with keyframe manifold constraint gradients (KMCGs). Our validation demonstrates the success of training separate models to transfer between as many as ten dance motion styles. Comprehensive experiments find a significant improvement in preserving motion contents in comparison to baseline and ablative diffusion-based style transfer models. In addition, we perform a human study for a subjective assessment of the quality of generated dance motions. The results validate the competitiveness of KMCGs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google