Both Ears Wide Open: Towards Language-Driven Spatial Audio Generation

要約

最近、拡散モデルはモノチャネルオーディオ生成で大きな成功を収めています。
ただし、ステレオオーディオ生成に関しては、サウンドスケープには、複数のオブジェクトと方向の複雑なシーンがあることがよくあります。
空間的コンテキストでステレオオーディオを制御することは、高いデータコストと不安定な生成モデルのために依然として困難です。
私たちの知る限り、この作品はこれらの問題に対処する最初の試みを表しています。
まず、大規模なシミュレーションベース、およびGPTアシストされたデータセット、Bewo-1Mを構築し、移動や複数のソースを含む豊富なサウンドスケープや説明を備えています。
テキストのモダリティを超えて、検索を通じて一連の画像と合理的にペアのステレオオーディオを取得して、マルチモーダル生成を進めています。
既存のオーディオ生成モデルは、かなりランダムで不明瞭な空間オーディオを生成する傾向があります。
潜在的な拡散モデルに正確なガイダンスを提供するために、空間認識エンコーダーと方位角状態のマトリックスを使用して、合理的な空間ガイダンスを明らかにする空間モデルを導入します。
空間ガイダンスを活用することにより、私たちのモデルは、テキストから没入型で制御可能な空間オーディオを生成するという目的を達成するだけでなく、先駆者の試みとして他のモダリティにも拡張されます。
最後に、公正な設定では、シミュレートされた現実世界のデータに関する主観的および客観的な評価を実施して、アプローチと一般的な方法を比較します。
結果は、私たちの方法の有効性を示しており、物理的ルールを順守する空間オーディオを生成する能力を強調しています。

要約(オリジナル)

Recently, diffusion models have achieved great success in mono-channel audio generation. However, when it comes to stereo audio generation, the soundscapes often have a complex scene of multiple objects and directions. Controlling stereo audio with spatial contexts remains challenging due to high data costs and unstable generative models. To the best of our knowledge, this work represents the first attempt to address these issues. We first construct a large-scale, simulation-based, and GPT-assisted dataset, BEWO-1M, with abundant soundscapes and descriptions even including moving and multiple sources. Beyond text modality, we have also acquired a set of images and rationally paired stereo audios through retrieval to advance multimodal generation. Existing audio generation models tend to generate rather random and indistinct spatial audio. To provide accurate guidance for Latent Diffusion Models, we introduce the SpatialSonic model utilizing spatial-aware encoders and azimuth state matrices to reveal reasonable spatial guidance. By leveraging spatial guidance, our model not only achieves the objective of generating immersive and controllable spatial audio from text but also extends to other modalities as the pioneer attempt. Finally, under fair settings, we conduct subjective and objective evaluations on simulated and real-world data to compare our approach with prevailing methods. The results demonstrate the effectiveness of our method, highlighting its capability to generate spatial audio that adheres to physical rules.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google