Invariant Learning via Probability of Sufficient and Necessary Causes

要約

分布外 (OOD) 一般化は、実際の環境でモデルを学習する場合に不可欠です。テスト分布は通常未知であり、トレーニングとは異なります。
因果関係に基づいた最近の手法は、OOD の一般化を達成する上で大きな可能性を示しています。
しかし、既存の方法は主に原因の不変特性に焦点を当てており、\textit{sufficiency} 条件と \textit{necessity} 条件の特性はほとんど見落とされています。
すなわち、必要ではあるが不十分な原因（特徴）は、分布のシフトに対して不変であるが、必要な精度を有していない可能性がある。
対照的に、十分ではあるが不必要な原因 (特徴) は、特定のデータによく適合する傾向がありますが、新しいドメインに適応するリスクがある可能性があります。
十分原因と必要原因の情報を取得するために、必要十分原因であるかどうかの確率を示す古典的な概念、十分原因と必要原因の確率 (PNS) を使用します。
PNS を OOD 一般化と関連付けるために、PNS リスクを提案し、高い PNS 値を持つ表現を学習するアルゴリズムを定式化します。
私たちは、PNS リスクの一般化可能性を理論的に分析し、証明します。
合成ベンチマークと現実世界の両方のベンチマークでの実験により、提案された方法の有効性が実証されています。
実装の詳細は、GitHub リポジトリ https://github.com/ymy4323460/CaSN でご覧いただけます。

要約(オリジナル)

Out-of-distribution (OOD) generalization is indispensable for learning models in the wild, where testing distribution typically unknown and different from the training. Recent methods derived from causality have shown great potential in achieving OOD generalization. However, existing methods mainly focus on the invariance property of causes, while largely overlooking the property of \textit{sufficiency} and \textit{necessity} conditions. Namely, a necessary but insufficient cause (feature) is invariant to distribution shift, yet it may not have required accuracy. By contrast, a sufficient yet unnecessary cause (feature) tends to fit specific data well but may have a risk of adapting to a new domain. To capture the information of sufficient and necessary causes, we employ a classical concept, the probability of sufficiency and necessary causes (PNS), which indicates the probability of whether one is the necessary and sufficient cause. To associate PNS with OOD generalization, we propose PNS risk and formulate an algorithm to learn representation with a high PNS value. We theoretically analyze and prove the generalizability of the PNS risk. Experiments on both synthetic and real-world benchmarks demonstrate the effectiveness of the proposed method. The details of the implementation can be found at the GitHub repository: https://github.com/ymy4323460/CaSN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google