Learn To Learn More Precisely

要約

メタ学習は、少数ショット学習と高速適応の領域に広く適用され、目覚ましいパフォーマンスを達成しています。
Model-Agnostic Meta-Learning (MAML) やそのバリアントなどのメタ学習手法は、モデルに適切な初期パラメーターのセットを提供しますが、モデルは依然としてショートカット機能を学習する傾向があり、一般化が不十分になります。
この論文では、モデルにデータから正確な対象知識を学習させ、背景やノイズなどのノイズの多い知識の影響を軽減することを目的とした、「より正確に学習することを学習する」という形式的な概念を提案します。
この目標を達成するために、学習された知識の一貫性を最大化し、正確なターゲット知識を学習するモデルの能力を強化するために、メタ自己蒸留（MSD）と呼ばれるシンプルで効果的なメタ学習フレームワークを提案しました。
内側のループでは、MSD は同じサポート データの異なる拡張ビューを使用してモデルをそれぞれ更新します。
次に外側のループで、MSD は同じクエリ データを利用して学習された知識の一貫性を最適化し、モデルの学習能力をより正確に強化します。
私たちの実験では、MSD が標準シナリオと拡張シナリオの両方で少数ショットの分類タスクで顕著なパフォーマンスを示し、モデルによって学習された知識の精度と一貫性が効果的に向上することが実証されました。

要約(オリジナル)

Meta-learning has been extensively applied in the domains of few-shot learning and fast adaptation, achieving remarkable performance. While Meta-learning methods like Model-Agnostic Meta-Learning (MAML) and its variants provide a good set of initial parameters for the model, the model still tends to learn shortcut features, which leads to poor generalization. In this paper, we propose the formal conception of ‘learn to learn more precisely’, which aims to make the model learn precise target knowledge from data and reduce the effect of noisy knowledge, such as background and noise. To achieve this target, we proposed a simple and effective meta-learning framework named Meta Self-Distillation(MSD) to maximize the consistency of learned knowledge, enhancing the models’ ability to learn precise target knowledge. In the inner loop, MSD uses different augmented views of the same support data to update the model respectively. Then in the outer loop, MSD utilizes the same query data to optimize the consistency of learned knowledge, enhancing the model’s ability to learn more precisely. Our experiment demonstrates that MSD exhibits remarkable performance in few-shot classification tasks in both standard and augmented scenarios, effectively boosting the accuracy and consistency of knowledge learned by the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google