A Large-scale Dataset for Audio-Language Representation Learning

要約

AI コミュニティは、大規模なマルチモーダル データセットを活用した強力な基礎モデルの開発において大きな進歩を遂げました。
しかし、音声表現学習コミュニティでは、現在の音声言語データセットには、不十分な量、単純な内容、困難な収集手順などの制限があります。
これらの課題に取り組むために、私たちは一連の公開ツールまたは API に基づいた革新的で自動音声キャプション生成パイプラインを提示し、Auto-ACD と呼ばれる、1.9 を超える大規模で高品質の音声言語データセットを構築します。
M 個の音声とテキストのペア。
提案されたデータセットの有効性を実証するために、データセットで人気のあるモデルをトレーニングし、さまざまな下流タスク、つまり音声言語の検索、音声キャプション、環境分類のパフォーマンスの向上を示します。
さらに、新しいテスト セットを確立し、オーディオ テキスト タスクのベンチマークを提供します。
提案されたデータセットは https://auto-acd.github.io/ でリリースされます。

要約(オリジナル)

The AI community has made significant strides in developing powerful foundation models, driven by large-scale multimodal datasets. However, in the audio representation learning community, the present audio-language datasets suffer from limitations such as insufficient volume, simplistic content, and arduous collection procedures. To tackle these challenges, we present an innovative and automatic audio caption generation pipeline based on a series of public tools or APIs, and construct a large-scale, high-quality, audio-language dataset, named as Auto-ACD, comprising over 1.9M audio-text pairs. To demonstrate the effectiveness of the proposed dataset, we train popular models on our dataset and show performance improvement on various downstream tasks, namely, audio-language retrieval, audio captioning, environment classification. In addition, we establish a novel test set and provide a benchmark for audio-text tasks. The proposed dataset will be released at https://auto-acd.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google