Learning to Learn with Indispensable Connections

要約

【タイトル】
必要な接続を用いた学習方法によるメタラーニング

【要約】
-メタラーニングは、少数のラベル付けされたインスタンスで未知のタスクを解決することを目的としたものだが、既存の最適化ベースの手法ではクイックラーニングに効果的な一方、いくつかの問題点がある。
-メタトレーニング中には必要のない接続が頻繁に見られ、これによりオーバーパラメータ化されたニューラルネットワークが得られてしまう。このため、メタテストでは不必要な計算と余分なメモリオーバーヘッドが発生する。これらの問題を克服するために、必要な接続を含む新しいメタラーニング手法「Meta-LTH」を提案する。
-強度剪定として知られるlottery ticket hypothesis技法を用いて、重要な接続を生成し、少数学習問題を効果的に解決することができる。
-2つのことを目指す：(a)より適応的なメタラーニングができるサブネットワークの発見、(b)未知のタスクの新しい低レベルの特徴を学習し、メタテスト時に既に学習している特徴と再結合すること。
-実験結果から、提案されたMeta-LTH法は、3つの異なる分類データセットにおいて、既存の一次のMAMLアルゴリズムよりも分類性能が向上し、特にomniglotデータセットにおいて1-shot task settingで分類の精度が約2%向上した。

要約(オリジナル)

Meta-learning aims to solve unseen tasks with few labelled instances. Nevertheless, despite its effectiveness for quick learning in existing optimization-based methods, it has several flaws. Inconsequential connections are frequently seen during meta-training, which results in an over-parameterized neural network. Because of this, meta-testing observes unnecessary computations and extra memory overhead. To overcome such flaws. We propose a novel meta-learning method called Meta-LTH that includes indispensible (necessary) connections. We applied the lottery ticket hypothesis technique known as magnitude pruning to generate these crucial connections that can effectively solve few-shot learning problem. We aim to perform two things: (a) to find a sub-network capable of more adaptive meta-learning and (b) to learn new low-level features of unseen tasks and recombine those features with the already learned features during the meta-test phase. Experimental results show that our proposed Met-LTH method outperformed existing first-order MAML algorithm for three different classification datasets. Our method improves the classification accuracy by approximately 2% (20-way 1-shot task setting) for omniglot dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI