From Invariant Representations to Invariant Data: Provable Robustness to Spurious Correlations via Noisy Counterfactual Matching

要約

偽の相関は、新しい環境でモデルのパフォーマンスを低下させる可能性があります。
以前の因果関係にヒントを得た作品は、不変表現（IRMなど）を学ぶことを目的としていますが、通常は経験的リスク最小化（ERM）を下回ります。
最近の代替案は、テスト時間データを活用することで堅牢性を改善していますが、そのようなデータは実際には利用できない場合があります。
これらの問題に対処するために、不変のデータペアを活用して、最適に堅牢な分類器と同じ予測を持つサンプルのペアを活用することにより、データ中心のアプローチを採用します。
特定の反事実的ペアがこの不変性プロパティを自然に満たし、理想的なケースに騒々しいペアの小さなセットであっても、強化された堅牢性のために不変ペアを活用するための単純な制約ベースの方法であるノイズの多い反事実的マッチング（NCM）を導入することを証明します。
線形因果モデルの場合、テストドメインエラーがドメイン内エラーと、反事実の多様性と品質に依存する用語によって上限になる可能性があることを証明します。
合成データセットで検証し、実世界のベンチマークで、前処理されたバックボーンでの線形プロービングが堅牢性を向上させることを実証します。

要約(オリジナル)

Spurious correlations can cause model performance to degrade in new environments. Prior causality-inspired works aim to learn invariant representations (e.g., IRM) but typically underperform empirical risk minimization (ERM). Recent alternatives improve robustness by leveraging test-time data, but such data may be unavailable in practice. To address these issues, we take a data-centric approach by leveraging invariant data pairs, pairs of samples that would have the same prediction with the optimally robust classifier. We prove that certain counterfactual pairs will naturally satisfy this invariance property and introduce noisy counterfactual matching (NCM), a simple constraint-based method for leveraging invariant pairs for enhanced robustness, even with a small set of noisy pairs-in the ideal case, each pair can eliminate one spurious feature. For linear causal models, we prove that the test domain error can be upper bounded by the in-domain error and a term that depends on the counterfactuals’ diversity and quality. We validate on a synthetic dataset and demonstrate on real-world benchmarks that linear probing on a pretrained backbone improves robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google