LC-Protonets: Multi-label Few-shot learning for world music audio tagging

要約

我々は、モデルを少数の利用可能な例のみに基づいて新しいクラスに一般化する必要があるマルチラベルの少数ショット分類の問題に対処するために、ラベル組み合わせプロトタイプ ネットワーク (LC-Protonets) を導入します。
プロトタイプ ネットワークを拡張する LC-Protonet は、ラベルごとに 1 つのプロトタイプではなく、限られたトレーニング項目に存在するラベルのパワーセットから派生した、ラベルの組み合わせごとに 1 つのプロトタイプを生成します。
私たちの方法は、現代音楽と伝統音楽の両方を含むさまざまな文化をカバーする多様な音楽データセットにわたる自動オーディオタグ付けに適用され、文献内の既存のアプローチに対して評価されます。
この結果は、マルチラベル分類に LC-Protonet を使用すると、ほぼすべてのドメインとトレーニング設定でパフォーマンスが大幅に向上することを示しています。
数ショット学習モデルを最初からトレーニングすることに加えて、特徴空間に項目を埋め込むために、教師あり学習によって取得された事前トレーニング済みモデルの使用を検討します。
微調整によりすべての手法の汎化能力が向上しますが、比較アプローチとは対照的に、LC-Protonet は微調整なしでも高レベルのパフォーマンスを達成します。
最後に、提案された方法のスケーラビリティを分析し、実験からの詳細な定量的指標を提供します。
実装と実験のセットアップは公開されており、将来の研究のベンチマークとなります。

要約(オリジナル)

We introduce Label-Combination Prototypical Networks (LC-Protonets) to address the problem of multi-label few-shot classification, where a model must generalize to new classes based on only a few available examples. Extending Prototypical Networks, LC-Protonets generate one prototype per label combination, derived from the power set of labels present in the limited training items, rather than one prototype per label. Our method is applied to automatic audio tagging across diverse music datasets, covering various cultures and including both modern and traditional music, and is evaluated against existing approaches in the literature. The results demonstrate a significant performance improvement in almost all domains and training setups when using LC-Protonets for multi-label classification. In addition to training a few-shot learning model from scratch, we explore the use of a pre-trained model, obtained via supervised learning, to embed items in the feature space. Fine-tuning improves the generalization ability of all methods, yet LC-Protonets achieve high-level performance even without fine-tuning, in contrast to the comparative approaches. We finally analyze the scalability of the proposed method, providing detailed quantitative metrics from our experiments. The implementation and experimental setup are made publicly available, offering a benchmark for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google