Rethinking Meta-Learning from a Learning Lens

要約

メタラーニングは、目に見えないタスクを解決するために、トレーニングタスクから十分に一般化されたモデルの初期化を学ぶことを目指しています。
「学習することを学ぶ」の観点から、初期化の品質は、内側ループに1段階のグラデーションが適切にモデル化されます。
しかし、理論的な期待に反して、私たちの経験的分析は、これがメタラーニングを過小装着にさらす可能性があることを明らかにしています。
理論的理解と実用的な実装の間のギャップを埋めるために、「学習」レンズからのメタ学習を再考します。
メタラーニングモデルは、モデル初期化のパラメーターとタスク固有の微調整のためのメタ層の2つの相互に関連するコンポーネントで構成されていることを提案します。
これらのコンポーネントは、タスクに応じて過剰適合と装着のリスクにつながり、そのソリューション、より多くのパラメーターとメタレイヤーが少なくなり、しばしば対立します。
これに対処するために、データやモデル構造を変更せずにモデルが受信するタスク情報を規制することを目指しています。
私たちの理論分析は、さまざまなタスクに適応したモデルが相互に互いに強化し、効果的な情報を強調できることを示しています。
この洞察に基づいて、メタラーニングのキャリブレーションにタスク関係を活用するプラグアンドプレイ方法であるTreLearnerを提案します。
最初にタスク関係のマトリックスを抽出し、次に関係を認識する一貫性の正規化を適用して、最適化を導きます。
広範な理論的および経験的評価は、その有効性を示しています。

要約(オリジナル)

Meta-learning seeks to learn a well-generalized model initialization from training tasks to solve unseen tasks. From the ‘learning to learn’ perspective, the quality of the initialization is modeled with one-step gradient decent in the inner loop. However, contrary to theoretical expectations, our empirical analysis reveals that this may expose meta-learning to underfitting. To bridge the gap between theoretical understanding and practical implementation, we reconsider meta-learning from the ‘Learning’ lens. We propose that the meta-learning model comprises two interrelated components: parameters for model initialization and a meta-layer for task-specific fine-tuning. These components will lead to the risks of overfitting and underfitting depending on tasks, and their solutions, fewer parameters vs. more meta-layer, are often in conflict. To address this, we aim to regulate the task information the model receives without modifying the data or model structure. Our theoretical analysis indicates that models adapted to different tasks can mutually reinforce each other, highlighting the effective information. Based on this insight, we propose TRLearner, a plug-and-play method that leverages task relation to calibrate meta-learning. It first extracts task relation matrices and then applies relation-aware consistency regularization to guide optimization. Extensive theoretical and empirical evaluations demonstrate its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google