Accelerating Neural Self-Improvement via Bootstrapping

要約

タイトル：ブートストラップによるニューラルセルフインプルーブメントの加速

要約：
– ニューラルネットワーク（NN）を用いたシーケンス処理によるフューショット学習が注目されている。
– 通常のN-way K-shot学習設定では、NNはNK個のラベル付き例を観察して未知の入力を分類するよう明示的に最適化される。
– 本論文では、ブートストラップメタラーニングを提案して、少数ショット学習のさらなる加速を促進する補助的な損失を研究している。
– NK個の例だけを使用して、Kショット学習者の性能をNKの例以上で適応可能な性能に一致させるように最適化することで、ブートストラップメタラーニングをNN少数ショット学習者に適用する。
– 標準的なMini-ImageNetデータセットでは、有望な結果が得られている。
– コードは公開されている。

要約(オリジナル)

Few-shot learning with sequence-processing neural networks (NNs) has recently attracted a new wave of attention in the context of large language models. In the standard N-way K-shot learning setting, an NN is explicitly optimised to learn to classify unlabelled inputs by observing a sequence of NK labelled examples. This pressures the NN to learn a learning algorithm that achieves optimal performance, given the limited number of training examples. Here we study an auxiliary loss that encourages further acceleration of few-shot learning, by applying recently proposed bootstrapped meta-learning to NN few-shot learners: we optimise the K-shot learner to match its own performance achievable by observing more than NK examples, using only NK examples. Promising results are obtained on the standard Mini-ImageNet dataset. Our code is public.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI