Low-Resource Music Genre Classification with Cross-Modal Neural Model Reprogramming

要約

タイトル：「クロスモーダルニューラルモデル再プログラミングによる低リソース音楽ジャンル分類」

要約：
– 限られたトレーニングデータがあるタスクに対して、転移学習（TL）アプローチが有望な結果を示している。
– しかし、事前に学習されたニューラルネットワークをターゲットドメインデータで微調整するためには、相当なメモリと計算資源が必要である。
– この研究では、ニューラルモデル再プログラミング（NMR）の概念に基づいた、限られたリソース（音楽）分類に対する事前学習モデルの活用方法を提案する。
– NMRは、凍結された事前学習されたモデルの入力を変更することにより、ソースドメインから対象ドメインへの事前学習モデルの再利用を目的とする。
– 入力に依存するように高度に再プログラミングを行うInput-dependent NMRと、入力に依存しない既知の再プログラミングメソッドに加えて、複雑な入力データ（例えば音楽のオーディオ）に適応性を高めるために、提唱された2つのInput-dependent NMR TLメソッドである。
– 実験結果は、大規模なデータセットで事前に学習したニューラルモデルが、この再プログラミング方法を使用して音楽ジャンル分類を成功裏に実行できることを示す。
– 2つの提案されたInput-dependent NMR TLメソッドは、小さなジャンル分類データセットでの微調整に基づくTLメソッドを凌駕する。

要約(オリジナル)

Transfer learning (TL) approaches have shown promising results when handling tasks with limited training data. However, considerable memory and computational resources are often required for fine-tuning pre-trained neural networks with target domain data. In this work, we introduce a novel method for leveraging pre-trained models for low-resource (music) classification based on the concept of Neural Model Reprogramming (NMR). NMR aims at re-purposing a pre-trained model from a source domain to a target domain by modifying the input of a frozen pre-trained model. In addition to the known, input-independent, reprogramming method, we propose an advanced reprogramming paradigm: Input-dependent NMR, to increase adaptability to complex input data such as musical audio. Experimental results suggest that a neural model pre-trained on large-scale datasets can successfully perform music genre classification by using this reprogramming method. The two proposed Input-dependent NMR TL methods outperform fine-tuning-based TL methods on a small genre classification dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI