AudioSetMix: Enhancing Audio-Language Datasets with LLM-Assisted Augmentations

要約

音声言語領域におけるマルチモーダル学習は、近年大幅な進歩を遂げています。
ただし、音声言語の学習は、画像言語のタスクに比べてデータが限られており、品質も低いため、課題に直面しています。
既存の音声言語データセットは著しく小さく、正確なラベル付けをするには音声クリップ全体を聞く必要があるため、手動ラベル付けは妨げられています。
私たちの方法は、自然言語ラベルと対応する音声信号処理操作で音声クリップを強化することにより、音声とキャプションのペアを系統的に生成します。
大規模言語モデルを活用して、プロンプト テンプレートを使用して拡張オーディオ クリップの説明を生成します。
このスケーラブルなメソッドは、テキストとオーディオ関連のモデル用の高品質トレーニング データセットである AudioSetMix を生成します。
データセットを統合すると、より適切に調整された多様な例が提供されるため、ベンチマークでのモデルのパフォーマンスが向上します。
特に、私たちのデータセットは、既存のデータセットに修飾語 (形容詞と副詞) が存在しないことに対処しています。
モデルがこれらの概念を学習できるようにし、トレーニング中にハード ネガティブ サンプルを生成することで、複数のベンチマークで最先端のパフォーマンスを実現します。

要約(オリジナル)

Multi-modal learning in the audio-language domain has seen significant advancements in recent years. However, audio-language learning faces challenges due to limited and lower-quality data compared to image-language tasks. Existing audio-language datasets are notably smaller, and manual labeling is hindered by the need to listen to entire audio clips for accurate labeling. Our method systematically generates audio-caption pairs by augmenting audio clips with natural language labels and corresponding audio signal processing operations. Leveraging a Large Language Model, we generate descriptions of augmented audio clips with a prompt template. This scalable method produces AudioSetMix, a high-quality training dataset for text-and-audio related models. Integration of our dataset improves models performance on benchmarks by providing diversified and better-aligned examples. Notably, our dataset addresses the absence of modifiers (adjectives and adverbs) in existing datasets. By enabling models to learn these concepts, and generating hard negative examples during training, we achieve state-of-the-art performance on multiple benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google