Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning

要約

データフリーのメタ学習の目標は、トレーニング データにアクセスせずに、事前トレーニング済みモデルのコレクションから有用な事前知識を学習することです。
ただし、既存の作業はパラメーター空間の問題のみを解決します。これは、(i) 事前トレーニング済みモデルに含まれる有益なデータ知識を無視します。
(ii) 大規模な事前トレーニング済みモデルにスケーリングできません。
(iii) 同じネットワーク アーキテクチャを持つ事前トレーニング済みモデルのみをメタ学習できます。
これらの問題に対処するために、PURER と呼ばれる統一されたフレームワークを提案します。
(2) メタ テスト中の内部ループ (ICFIL) に続く invErsion calibRation。
メタトレーニング中に、ECI が新しい目に見えないタスクにすばやく適応することを学習するための疑似エピソードトレーニングを実行することを提案します。
具体的には、事前トレーニング済みの各モデルからトレーニング データを抽出することにより、疑似エピソードのシーケンスを段階的に合成します。
ECI は、メタモデルのリアルタイム フィードバックに応じて、疑似エピソードの難易度を適応的に高めます。
ECIを敵対的な形式としてエンドツーエンドでメタトレーニングの最適化プロセスを定式化します。
メタ テスト中に、メタ トレーニングとメタ テスト タスクの分散の間のギャップを狭めるために、メタ テスト中に使用されるシンプルなプラグ アンド プレイ サプリメント (ICFIL) のみを提案します。
さまざまな現実世界のシナリオでの広範な実験により、私たちの優れたパフォーマンスが示されています。

要約(オリジナル)

The goal of data-free meta-learning is to learn useful prior knowledge from a collection of pre-trained models without accessing their training data. However, existing works only solve the problem in parameter space, which (i) ignore the fruitful data knowledge contained in the pre-trained models; (ii) can not scale to large-scale pre-trained models; (iii) can only meta-learn pre-trained models with the same network architecture. To address those issues, we propose a unified framework, dubbed PURER, which contains: (1) ePisode cUrriculum inveRsion (ECI) during data-free meta training; and (2) invErsion calibRation following inner loop (ICFIL) during meta testing. During meta training, we propose ECI to perform pseudo episode training for learning to adapt fast to new unseen tasks. Specifically, we progressively synthesize a sequence of pseudo episodes by distilling the training data from each pre-trained model. The ECI adaptively increases the difficulty level of pseudo episodes according to the real-time feedback of the meta model. We formulate the optimization process of meta training with ECI as an adversarial form in an end-to-end manner. During meta testing, we further propose a simple plug-and-play supplement-ICFIL-only used during meta testing to narrow the gap between meta training and meta testing task distribution. Extensive experiments in various real-world scenarios show the superior performance of ours.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google