QEAN: Quaternion-Enhanced Attention Network for Visual Dance Generation

要約

音楽生成ダンスの研究は、斬新かつ挑戦的なイメージ生成タスクです。
音楽とシードモーションを入力し、その後の音楽に合わせて自然なダンスの動きを生成することを目的としています。
トランスフォーマーベースの手法は、非線形関係と時間的側面を捉えるのが難しいため、人間の動きや音楽に関連する時系列予測タスクで課題に直面しています。
そのため、関節の変形、役割のズレ、浮き、音楽に合わせたダンスの動きの不一致などの問題が発生します。
この論文では、クォータニオンの観点から視覚ダンス合成のためのクォータニオン拡張アテンション ネットワーク (QEAN) を提案します。これは、スピン ポジション エンベディング (SPE) モジュールとクォータニオン ロータリー アテンション (QRA) モジュールで構成されます。
まず、SPE は位置情報を回転方式で自己注意に埋め込み、動作シーケンスとオーディオ シーケンスの特徴をよりよく学習し、音楽とダンスの関係についての理解を向上させます。
第 2 に、QRA は 3D モーション特徴とオーディオ特徴を一連の四元数の形式で表現および融合し、モデルがダンス生成の複雑な時間サイクル条件下で音楽とダンスの時間的調整をより適切に学習できるようにします。
最後に、データセット AIST++ で実験を実施しました。その結果、私たちのアプローチが正確で高品質なダンスの動きを生成する際に、より優れた堅牢なパフォーマンスを達成できることがわかりました。
ソース コードとデータセットは、それぞれ https://github.com/MarasyZZ/QEAN と https://google.github.io/aistplusplus_dataset から入手できます。

要約(オリジナル)

The study of music-generated dance is a novel and challenging Image generation task. It aims to input a piece of music and seed motions, then generate natural dance movements for the subsequent music. Transformer-based methods face challenges in time series prediction tasks related to human movements and music due to their struggle in capturing the nonlinear relationship and temporal aspects. This can lead to issues like joint deformation, role deviation, floating, and inconsistencies in dance movements generated in response to the music. In this paper, we propose a Quaternion-Enhanced Attention Network (QEAN) for visual dance synthesis from a quaternion perspective, which consists of a Spin Position Embedding (SPE) module and a Quaternion Rotary Attention (QRA) module. First, SPE embeds position information into self-attention in a rotational manner, leading to better learning of features of movement sequences and audio sequences, and improved understanding of the connection between music and dance. Second, QRA represents and fuses 3D motion features and audio features in the form of a series of quaternions, enabling the model to better learn the temporal coordination of music and dance under the complex temporal cycle conditions of dance generation. Finally, we conducted experiments on the dataset AIST++, and the results show that our approach achieves better and more robust performance in generating accurate, high-quality dance movements. Our source code and dataset can be available from https://github.com/MarasyZZ/QEAN and https://google.github.io/aistplusplus_dataset respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google