A Large-scale Dataset for Audio-Language Representation Learning

要約

AIコミュニティは、大規模なマルチモーダルデータセットに後押しされ、強力な基礎モデルの開発において大きな進歩を遂げてきた。しかし、音声表現学習コミュニティでは、現在の音声言語データセットは、不十分な量、単純な内容、手間のかかる収集手順などの制限に苦しんでいる。これらの課題に取り組むため、我々は、一連の公開ツールやAPIに基づく革新的な自動音声キャプション生成パイプラインを提示し、190万以上の音声テキストペアからなる、Auto-ACDと名付けられた大規模で高品質な音声言語データセットを構築する。提案するデータセットの有効性を実証するために、我々のデータセット上で一般的なモデルを訓練し、様々な下流タスク、すなわち、音声言語検索、音声キャプション、環境分類における性能向上を示す。さらに、新しいテストセットを確立し、音声テキストタスクのベンチマークを提供する。提案データセットはhttps://auto-acd.github.io/。

要約(オリジナル)

The AI community has made significant strides in developing powerful foundation models, driven by large-scale multimodal datasets. However, in the audio representation learning community, the present audio-language datasets suffer from limitations such as insufficient volume, simplistic content, and arduous collection procedures. To tackle these challenges, we present an innovative and automatic audio caption generation pipeline based on a series of public tools or APIs, and construct a large-scale, high-quality, audio-language dataset, named as Auto-ACD, comprising over 1.9M audio-text pairs. To demonstrate the effectiveness of the proposed dataset, we train popular models on our dataset and show performance improvement on various downstream tasks, namely, audio-language retrieval, audio captioning, environment classification. In addition, we establish a novel test set and provide a benchmark for audio-text tasks. The proposed dataset will be released at https://auto-acd.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL