ETTA: Elucidating the Design Space of Text-to-Audio Models

要約

近年、Text-To-Audio (TTA) 合成が大幅に進歩しており、ユーザーは自然言語プロンプトから生成された合成音声でクリエイティブなワークフローを充実させることができます。
このような進歩にもかかわらず、データ、モデル アーキテクチャ、トレーニング目的関数、およびサンプリング戦略がターゲット ベンチマークに及ぼす影響は十分に理解されていません。
TTA モデルの設計空間の全体的な理解を提供することを目的として、拡散モデルと流れマッチング モデルに焦点を当てた大規模な実証実験を設定しました。
私たちの貢献には次のものが含まれます。 1) AF-Synthetic、音声理解モデルから得られた高品質の合成キャプションの大規模なデータセット。
2) TTA モデルのさまざまなアーキテクチャ、トレーニング、推論設計の選択肢を体系的に比較します。
3) 生成品質と推論速度に関するサンプリング方法とそのパレート曲線の分析。
私たちは、この広範な分析から得られた知識を活用して、Elucidated Text-To-Audio (ETTA) と呼ばれる最良のモデルを提案します。
AudioCaps と MusicCaps で評価すると、ETTA は公開データでトレーニングされたベースラインを超える改善を提供すると同時に、独自のデータでトレーニングされたモデルと競合します。
最後に、複雑で想像力豊かなキャプションに続いてクリエイティブな音声を生成する ETTA の能力が向上していることを示します。これは現在のベンチマークよりも困難なタスクです。

要約(オリジナル)

Recent years have seen significant progress in Text-To-Audio (TTA) synthesis, enabling users to enrich their creative workflows with synthetic audio generated from natural language prompts. Despite this progress, the effects of data, model architecture, training objective functions, and sampling strategies on target benchmarks are not well understood. With the purpose of providing a holistic understanding of the design space of TTA models, we set up a large-scale empirical experiment focused on diffusion and flow matching models. Our contributions include: 1) AF-Synthetic, a large dataset of high quality synthetic captions obtained from an audio understanding model; 2) a systematic comparison of different architectural, training, and inference design choices for TTA models; 3) an analysis of sampling methods and their Pareto curves with respect to generation quality and inference speed. We leverage the knowledge obtained from this extensive analysis to propose our best model dubbed Elucidated Text-To-Audio (ETTA). When evaluated on AudioCaps and MusicCaps, ETTA provides improvements over the baselines trained on publicly available data, while being competitive with models trained on proprietary data. Finally, we show ETTA’s improved ability to generate creative audio following complex and imaginative captions — a task that is more challenging than current benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google