BirdSet: A Large-Scale Dataset for Audio Classification in Avian Bioacoustics

要約

ディープラーニング(DL)はオーディオ分類を大きく進歩させたが、この分野は、他のドメインでの進歩を推進した大規模なベンチマークデータセットの不足によって制限されている。AudioSetは普遍的な領域のデータセットとしてこのギャップを埋める極めて重要な一歩ですが、その制限されたアクセシビリティと限られた評価ユースケースは、唯一のリソースとしての役割に挑戦しています。そこで、鳥類の生体音響に特化した音声分類のための大規模なベンチマークデータセットである ˶˙ᵕ˙˶ ˶˙ᵕ˙˶ ˶˙ᵕ˙˶ ˶˙ᵕ˙˶ ˶˙ᵕ˙˶ ˶˙ᵕ˙˶ ˶˙ᵕ˙˶ ˶˙ᵕ˙˶\BirdSet}は、学習用に10,000近いクラスから6,800時間以上($uparrow!17%$)の録音を行い、8つの強くラベル付けされた評価データセットで400時間以上($uparrow!7times$)の録音を行い、AudioSetを上回ります。これは、多ラベル分類、共変量シフト、自己教師あり学習などのユースケースのための汎用的なリソースとして機能する。我々は、3つの異なる訓練シナリオにわたるマルチラベル分類において、6つのよく知られたDLモデルをベンチマークし、音声分類における更なる評価ユースケースを概説する。Hugging Face上でデータセットをホスティングし、簡単にアクセスできるようにし、我々の結果を再現するための広範なコードベースを提供する。

要約(オリジナル)

Deep learning (DL) has greatly advanced audio classification, yet the field is limited by the scarcity of large-scale benchmark datasets that have propelled progress in other domains. While AudioSet is a pivotal step to bridge this gap as a universal-domain dataset, its restricted accessibility and limited range of evaluation use cases challenge its role as the sole resource. Therefore, we introduce \texttt{BirdSet}, a large-scale benchmark dataset for audio classification focusing on avian bioacoustics. \texttt{BirdSet} surpasses AudioSet with over 6,800 recording hours~($\uparrow\!17\%$) from nearly 10,000 classes~($\uparrow\!18\times$) for training and more than 400 hours~($\uparrow\!7\times$) across eight strongly labeled evaluation datasets. It serves as a versatile resource for use cases such as multi-label classification, covariate shift or self-supervised learning. We benchmark six well-known DL models in multi-label classification across three distinct training scenarios and outline further evaluation use cases in audio classification. We host our dataset on Hugging Face for easy accessibility and offer an extensive codebase to reproduce our results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL