From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data

要約

オーディオ認識の大規模な言語モデル（ALLMS）は、最近、オーディオ入力を理解し、処理することに大きな進歩を遂げました。
これらのモデルは通常、オーディオ関連のタスクに関する追加のトレーニングを通じて、テキストベースの大手言語モデル（LLM）から適合しています。
ただし、この適応プロセスには2つの大きな制限があります。
第一に、Allmsはしばしば壊滅的な忘却に苦しんでいます。ここでは、オーディオデータのトレーニング後に命令フォローするなどの重要なテキスト能力が失われます。
場合によっては、モデルは入力オーディオに存在しない音を幻覚さえさえし、その信頼性について懸念を引き起こすことさえあります。
第二に、オーディオと言語の間のクロスモーダルアラインメントを達成することは、通常、命令調整のためにタスク固有の質問回答の大規模なコレクションに依存しており、プロセスをリソースを集中させます。
これらの問題に対処するために、ALLMSからバックボーンLLMを活用して、汎用キャプションスタイルのアライメントデータを合成します。
このプロセスは、Backbone LLMS（Balsa）からの合成データ生成を介したブートストラップオーディオ言語アライメントと呼びます。
Balsaに基づいて、ALLMSの存在音と存在しない音を区別する能力を向上させるために設計された対照的なトレーニング方法であるリスニング（拡張された負のサンプルを介してサウンドを識別することを学ぶ）を紹介します。
さらに、バルサをマルチオーディオシナリオに拡張します。モデルは、オーディオ入力の違いを説明するか、それらすべてを説明する統一されたキャプションを作成し、それによってオーディオ言語のアライメントを強化します。
実験結果は、私たちの方法がオーディオの幻覚を効果的に緩和しながら、オーディオの理解、推論、および指導に従うスキルの強力なパフォーマンスを確実に維持することを示しています。
さらに、マルチオーディオトレーニングを組み込むことで、モデルの理解と推論能力がさらに向上します。
全体として、バルサは、ALLMSの開発に効率的でスケーラブルなアプローチを提供します。

要約(オリジナル)

Audio-aware large language models (ALLMs) have recently made great strides in understanding and processing audio inputs. These models are typically adapted from text-based large language models (LLMs) through additional training on audio-related tasks. However, this adaptation process presents two major limitations. First, ALLMs often suffer from catastrophic forgetting, where important textual capabilities such as instruction-following are lost after training on audio data. In some cases, models may even hallucinate sounds that are not present in the input audio, raising concerns about their reliability. Second, achieving cross-modal alignment between audio and language typically relies on large collections of task-specific question-answer pairs for instruction tuning, making the process resource-intensive. To address these issues, we leverage the backbone LLMs from ALLMs to synthesize general-purpose caption-style alignment data. We refer to this process as bootstrapping audio-language alignment via synthetic data generation from backbone LLMs (BALSa). Building on BALSa, we introduce LISTEN (Learning to Identify Sounds Through Extended Negative Samples), a contrastive-like training method designed to improve ALLMs’ ability to distinguish between present and absent sounds. We further extend BALSa to multi-audio scenarios, where the model either explains the differences between audio inputs or produces a unified caption that describes them all, thereby enhancing audio-language alignment. Experimental results indicate that our method effectively mitigates audio hallucinations while reliably maintaining strong performance in audio understanding, reasoning, and instruction-following skills. Moreover, incorporating multi-audio training further enhances the model’s comprehension and reasoning capabilities. Overall, BALSa offers an efficient and scalable approach to the development of ALLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google