Robust Fast Adaptation from Adversarially Explicit Task Distribution Generation

要約

メタラーニングは、いくつかの例からタスク全体にスキルを伝達するための実践的な学習パラダイムです。
それにもかかわらず、タスク分布の変化の存在は、特にトレーニング タスク分布が単純に手作りされている場合、または重要なシナリオを十分にカバーできない単純な事前分布に基づいている場合、メタ学習者の汎化能力を弱める傾向があります。
ここでは、タスク識別子上に配置された明示的生成モデリング タスク分布を考慮し、敵対的トレーニングからの高速適応を強化することを提案します。
シュタッケルベルク ゲームのモデルとして解釈できる私たちのアプローチは、問題解決中のタスク構造を明示的な生成モデルから明らかにするだけでなく、最悪の場合の適応ロバスト性を理論的に向上させます。
この研究は、特にメタ学習におけるタスク分散の変化に対処する際に実用的な意味を持ち、この分野の理論的洞察に貢献します。
私たちの方法は、タスク部分母集団の変化が存在する場合でもそのロバスト性と、大規模な実験で SOTA ベースラインを超えるパフォーマンスの向上を示しています。
コードはプロジェクト サイト https://sites.google.com/view/ar-metalearn で入手できます。

要約(オリジナル)

Meta-learning is a practical learning paradigm to transfer skills across tasks from a few examples. Nevertheless, the existence of task distribution shifts tends to weaken meta-learners’ generalization capability, particularly when the training task distribution is naively hand-crafted or based on simple priors that fail to cover critical scenarios sufficiently. Here, we consider explicitly generative modeling task distributions placed over task identifiers and propose robustifying fast adaptation from adversarial training. Our approach, which can be interpreted as a model of a Stackelberg game, not only uncovers the task structure during problem-solving from an explicit generative model but also theoretically increases the adaptation robustness in worst cases. This work has practical implications, particularly in dealing with task distribution shifts in meta-learning, and contributes to theoretical insights in the field. Our method demonstrates its robustness in the presence of task subpopulation shifts and improved performance over SOTA baselines in extensive experiments. The code will be available at the project site https://sites.google.com/view/ar-metalearn.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google