Low-Resource Music Genre Classification with Cross-Modal Neural Model Reprogramming

要約

タイトル: クロスモーダルニューラルモデル再プログラミングを用いた低リソースの音楽ジャンル分類

要約:
– 転移学習（TL）の方法は、訓練データが限られているタスクを扱う際に有望な結果を示している。
– しかしながら、事前に訓練されたニューラルネットワークを対象ドメインデータと微調整するためには、相当なメモリと計算リソースが必要である。
– この研究では、Neural Model Reprogramming（NMR）の概念に基づいて、事前に訓練されたモデルを活用し、低リソース（音楽）分類のための新しい方法を紹介している。
– NMRは、凍結された事前に訓練されたモデルの入力を修正することによって、ソースドメインから対象ドメインに予め訓練されたモデルを再目的化することを目的としている。
– 入力に依存する高度な再プログラミング方法、Input-dependent NMRも提案しており、音楽のオーディオデータなどの複雑な入力データに対応するアダプタビリティを高めることができる。
– 実験結果は、大規模なデータセットで事前に訓練されたニューラルモデルを使用することにより、音楽ジャンル分類を正確に行えることを示している。また、提案された2つのInput-dependent NMR TL方法は、小規模なジャンル分類データセットで微調整ベースのTL方法を上回っている。

要約(オリジナル)

Transfer learning (TL) approaches have shown promising results when handling tasks with limited training data. However, considerable memory and computational resources are often required for fine-tuning pre-trained neural networks with target domain data. In this work, we introduce a novel method for leveraging pre-trained models for low-resource (music) classification based on the concept of Neural Model Reprogramming (NMR). NMR aims at re-purposing a pre-trained model from a source domain to a target domain by modifying the input of a frozen pre-trained model. In addition to the known, input-independent, reprogramming method, we propose an advanced reprogramming paradigm: Input-dependent NMR, to increase adaptability to complex input data such as musical audio. Experimental results suggest that a neural model pre-trained on large-scale datasets can successfully perform music genre classification by using this reprogramming method. The two proposed Input-dependent NMR TL methods outperform fine-tuning-based TL methods on a small genre classification dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI