MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation

要約

高品質のリアルなビデオに向けて、魅力的な視聴体験を同時にもたらす最初の共同オーディオビデオ生成フレームワークを提案します。
ジョイント オーディオ ビデオ ペアを生成するために、2 つの結合されたノイズ除去オートエンコーダを使用した、新しいマルチモーダル拡散モデル (つまり、MM-Diffusion) を提案します。
既存のシングルモーダル拡散モデルとは対照的に、MM-Diffusion は、設計によるジョイント ノイズ除去プロセス用のシーケンシャル マルチモーダル U-Net で構成されています。
オーディオとビデオの 2 つのサブネットは、ガウス ノイズから調整されたオーディオとビデオのペアを徐々に生成することを学習します。
モダリティ全体でセマンティックの一貫性を確保するために、2 つのサブネットをブリッジする新しいランダム シフト ベースのアテンション ブロックを提案します。
広範な実験により、無条件のオーディオ ビデオ生成、およびゼロ ショットの条件付きタスク (ビデオからオーディオへ) で優れた結果が示されています。
特に、Landscape と AIST++ のダンス データセットで最高の FVD と FAD を達成しています。
10,000 票のチューリング テストは、モデルに対する優勢な選好をさらに示しています。
コードと事前トレーニング済みのモデルは、https://github.com/researchmm/MM-Diffusion からダウンロードできます。

要約(オリジナル)

We propose the first joint audio-video generation framework that brings engaging watching and listening experiences simultaneously, towards high-quality realistic videos. To generate joint audio-video pairs, we propose a novel Multi-Modal Diffusion model (i.e., MM-Diffusion), with two-coupled denoising autoencoders. In contrast to existing single-modal diffusion models, MM-Diffusion consists of a sequential multi-modal U-Net for a joint denoising process by design. Two subnets for audio and video learn to gradually generate aligned audio-video pairs from Gaussian noises. To ensure semantic consistency across modalities, we propose a novel random-shift based attention block bridging over the two subnets, which enables efficient cross-modal alignment, and thus reinforces the audio-video fidelity for each other. Extensive experiments show superior results in unconditional audio-video generation, and zero-shot conditional tasks (e.g., video-to-audio). In particular, we achieve the best FVD and FAD on Landscape and AIST++ dancing datasets. Turing tests of 10k votes further demonstrate dominant preferences for our model. The code and pre-trained models can be downloaded at https://github.com/researchmm/MM-Diffusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google