HyperMAML: Few-Shot Adaptation of Deep Models with Hypernetworks

要約

フューショット学習法の目的は、少量のデータに基づいて、これまで見たことのないタスクに簡単に適応できるモデルをトレーニングすることです。
最も人気がありエレガントなフューショット学習アプローチの 1 つは、モデルに依存しないメタ学習 (MAML) です。
この方法の背後にある主なアイデアは、メタモデルの一般的な重みを学習し、少数の勾配ステップで特定の問題にさらに適応させることです。
ただし、このモデルの主な制限は、更新手順が勾配ベースの最適化によって実現されるという事実にあります。
その結果、MAML は 1 回または数回の勾配反復で常に重みを本質的なレベルに変更できるわけではありません。
一方、多くの勾配ステップを使用すると、複雑で時間のかかる最適化手順が必要となり、実際に訓練するのが難しく、過学習につながる可能性があります。
この論文では、更新手順のトレーニングもモデルの一部である MAML の新たな一般化である HyperMAML を提案します。
つまり、HyperMAML では、勾配降下法で重みを更新する代わりに、この目的のためにトレーニング可能なハイパーネットワークを使用します。
したがって、このフレームワークでは、モデルは、範囲が固定数の勾配ステップに限定されない重要な更新を生成できます。
実験によれば、HyperMAML は、多くの標準的な Few-Shot 学習ベンチマークにおいて常に MAML を上回り、他の最先端技術と同等のパフォーマンスを発揮することが示されています。

要約(オリジナル)

The aim of Few-Shot learning methods is to train models which can easily adapt to previously unseen tasks, based on small amounts of data. One of the most popular and elegant Few-Shot learning approaches is Model-Agnostic Meta-Learning (MAML). The main idea behind this method is to learn the general weights of the meta-model, which are further adapted to specific problems in a small number of gradient steps. However, the model’s main limitation lies in the fact that the update procedure is realized by gradient-based optimisation. In consequence, MAML cannot always modify weights to the essential level in one or even a few gradient iterations. On the other hand, using many gradient steps results in a complex and time-consuming optimization procedure, which is hard to train in practice, and may lead to overfitting. In this paper, we propose HyperMAML, a novel generalization of MAML, where the training of the update procedure is also part of the model. Namely, in HyperMAML, instead of updating the weights with gradient descent, we use for this purpose a trainable Hypernetwork. Consequently, in this framework, the model can generate significant updates whose range is not limited to a fixed number of gradient steps. Experiments show that HyperMAML consistently outperforms MAML and performs comparably to other state-of-the-art techniques in a number of standard Few-Shot learning benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google