Dance Style Transfer with Cross-modal Transformer

要約

タイトル：クロスモーダルトランスフォーマーを用いたダンススタイルの転移

要約：
– CycleDanceは、あるダンススタイルのモーションクリップを他のダンススタイルのモーションクリップに変換するダンススタイルの転移システムである。
– 既存のCycleGANアーキテクチャを音声シーケンスのモデリングに拡張し、複数のモーダルトランスフォーマーエンコーダを統合することで、音楽のコンテキストを考慮する。
– 学習の安定化のために、シーケンス長に基づくカリキュラムラーニングを採用する。
– このアプローチは、モーションフレーム間の豊富で長期的な相関関係を捉えることができる。
– ダンスムーブメントのコンテキストにおいて、移送強度とコンテンツ保持力を測定するための新しいメトリックを導入する。
– 充実した離脱実験と、5年以上のダンス経験を持つ30人の参加者を含む人間の研究を行い、CycleDanceが目標とするスタイルのリアルな動きを生成し、自然さ、移送強度、およびコンテンツの保持力で基礎となるCycleGANを大幅に上回ることを示した。

要約(オリジナル)

We present CycleDance, a dance style transfer system to transform an existing motion clip in one dance style to a motion clip in another dance style while attempting to preserve motion context of the dance. Our method extends an existing CycleGAN architecture for modeling audio sequences and integrates multimodal transformer encoders to account for music context. We adopt sequence length-based curriculum learning to stabilize training. Our approach captures rich and long-term intra-relations between motion frames, which is a common challenge in motion transfer and synthesis work. We further introduce new metrics for gauging transfer strength and content preservation in the context of dance movements. We perform an extensive ablation study as well as a human study including 30 participants with 5 or more years of dance experience. The results demonstrate that CycleDance generates realistic movements with the target style, significantly outperforming the baseline CycleGAN on naturalness, transfer strength, and content preservation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI