Spuriosity Didn’t Kill the Classifier: Using Invariant Predictions to Harness Spurious Features

要約

分布外データでの障害を回避するために、最近の研究では、ドメイン間でラベルとの関係が安定または不変である特徴を抽出し、ラベルとの関係がドメイン間で変化する「偽の」または不安定な特徴を破棄することを目指してきました。
ただし、不安定な機能にはラベルに関する補足情報が含まれていることが多く、テスト ドメインで正しく使用するとパフォーマンスが向上する可能性があります。
私たちの主な貢献は、ラベルなしでテスト ドメインでこれらの不安定な機能を使用する方法を学習できることを示すことです。
特に、ラベルが与えられた場合に安定した特徴と不安定な特徴が条件付きで独立しているという条件で、安定した特徴に基づく擬似ラベルがそうするための十分なガイダンスを提供することを証明します。
この理論的洞察に基づいて、我々は次のアルゴリズムである安定特徴ブースティング (SFB) を提案します。(i) 安定した特徴と条件的に独立した不安定な特徴を分離する予測子を学習する。
(ii) 安定した特徴の予測を使用して、テスト ドメイン内の不安定な特徴の予測を適応させます。
理論的には、SFB がテスト領域ラベルなしで漸近的に最適な予測子を学習できることを証明します。
実際のデータと合成データに対する SFB の有効性を経験的に実証します。

要約(オリジナル)

To avoid failures on out-of-distribution data, recent works have sought to extract features that have a stable or invariant relationship with the label across domains, discarding the ‘spurious’ or unstable features whose relationship with the label changes across domains. However, unstable features often carry complementary information about the label that could boost performance if used correctly in the test domain. Our main contribution is to show that it is possible to learn how to use these unstable features in the test domain without labels. In particular, we prove that pseudo-labels based on stable features provide sufficient guidance for doing so, provided that stable and unstable features are conditionally independent given the label. Based on this theoretical insight, we propose Stable Feature Boosting (SFB), an algorithm for: (i) learning a predictor that separates stable and conditionally-independent unstable features; and (ii) using the stable-feature predictions to adapt the unstable-feature predictions in the test domain. Theoretically, we prove that SFB can learn an asymptotically-optimal predictor without test-domain labels. Empirically, we demonstrate the effectiveness of SFB on real and synthetic data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google