AlignDiT: Multimodal Aligned Diffusion Transformer for Synchronized Speech Generation

要約

この論文では、複数の入力モダリティ（テキスト、ビデオ、および参照オーディオからの高品質の音声を合成することを目的とするマルチモーダルからスピーチの生成のタスクに対処します。
このタスクは、映画の制作、吹き替え、仮想アバターなど、幅広いアプリケーションのために注目を集めています。
最近の進歩にもかかわらず、既存の方法は、音声の明瞭度、オーディオビデオの同期、音声の自然さ、および参照スピーカーとの音声の類似性の制限に依然として悩まされています。
これらの課題に対処するために、Alignditを提案します。Alignditは、整列したマルチモーダル入力から正確で同期し、自然な音声を生成するマルチモーダルアライメント拡散トランスを提案します。
DITアーキテクチャのコンテスト内学習能力に基づいて構築されたAlignditは、マルチモーダル表現を調整するための3つの効果的な戦略を調査します。
さらに、モデルが音声合成中に各モダリティから情報のバランスをモデルに適応させることができる新しいマルチモーダル分類器のないガイダンスメカニズムを導入します。
広範な実験は、Alignditが品質、同期、およびスピーカーの類似性の点で、複数のベンチマークにわたって既存の方法を大幅に上回ることを示しています。
さらに、Alignditは、ビデオからスピーチの合成や視覚的な強制アライメントなど、さまざまなマルチモーダルタスクにわたって強力な一般化能力を示し、一貫して最先端のパフォーマンスを達成しています。
デモページは、https：//mm.kaist.ac.kr/projects/alignditで入手できます。

要約(オリジナル)

In this paper, we address the task of multimodal-to-speech generation, which aims to synthesize high-quality speech from multiple input modalities: text, video, and reference audio. This task has gained increasing attention due to its wide range of applications, such as film production, dubbing, and virtual avatars. Despite recent progress, existing methods still suffer from limitations in speech intelligibility, audio-video synchronization, speech naturalness, and voice similarity to the reference speaker. To address these challenges, we propose AlignDiT, a multimodal Aligned Diffusion Transformer that generates accurate, synchronized, and natural-sounding speech from aligned multimodal inputs. Built upon the in-context learning capability of the DiT architecture, AlignDiT explores three effective strategies to align multimodal representations. Furthermore, we introduce a novel multimodal classifier-free guidance mechanism that allows the model to adaptively balance information from each modality during speech synthesis. Extensive experiments demonstrate that AlignDiT significantly outperforms existing methods across multiple benchmarks in terms of quality, synchronization, and speaker similarity. Moreover, AlignDiT exhibits strong generalization capability across various multimodal tasks, such as video-to-speech synthesis and visual forced alignment, consistently achieving state-of-the-art performance. The demo page is available at https://mm.kaist.ac.kr/projects/AlignDiT .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google