Meta Learning not to Learn: Robustly Informing Meta-Learning under Nuisance-Varying Families

要約

スプリアス予測因子と因果予測因子の両方が利用可能な設定では、追加の帰納的バイアスがない経験的リスク最小化（ERM）の目的で訓練された標準的なニューラルネットワークは、偽の特徴に依存する傾向があります。
その結果、ネットワークを一般化可能な仮説に導くために、追加の誘導バイアスを統合する必要があります。
多くの場合、これらの偽の機能は、さまざまな病院からの画像スキャンからの疾患の予後を推定するなど、関連するタスク間で共有され、一般化の課題がより困難になります。
これらの設定では、方法が適切な帰納的バイアスを統合して、迷惑な家族とタスクファミリの両方で一般化することができることが重要です。
この設定に動機付けられて、私たちは、陽性と否定的な帰納的バイアスの両方（学習し、何を学ばないか）の両方の存在下でメタ学習の新しい方法であるRime（堅牢に情報に基づいたメタ学習）を提示します。
最初に、知識統合で既存のアプローチが分布的に堅牢な目標のパフォーマンスが悪化する理由を示す理論的因果フレームワークを開発します。
次に、Rimeが両方のバイアスを同時に統合できることを示し、迷惑な家族の下で情報に基づいたメタラーニング設定で分布的に堅牢な目標の下で最先端のパフォーマンスに到達することができます。

要約(オリジナル)

In settings where both spurious and causal predictors are available, standard neural networks trained under the objective of empirical risk minimization (ERM) with no additional inductive biases tend to have a dependence on a spurious feature. As a result, it is necessary to integrate additional inductive biases in order to guide the network toward generalizable hypotheses. Often these spurious features are shared across related tasks, such as estimating disease prognoses from image scans coming from different hospitals, making the challenge of generalization more difficult. In these settings, it is important that methods are able to integrate the proper inductive biases to generalize across both nuisance-varying families as well as task families. Motivated by this setting, we present RIME (Robustly Informed Meta lEarning), a new method for meta learning under the presence of both positive and negative inductive biases (what to learn and what not to learn). We first develop a theoretical causal framework showing why existing approaches at knowledge integration can lead to worse performance on distributionally robust objectives. We then show that RIME is able to simultaneously integrate both biases, reaching state of the art performance under distributionally robust objectives in informed meta-learning settings under nuisance-varying families.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google