Causal Information Splitting: Engineering Proxy Features for Robustness to Distribution Shifts

要約

タイトル： 因果情報分割：分布シフトに堅牢なプロキシ機能をエンジニアリングする

要約：

– 統計予測モデルは、最終的に使用される確率分布と異なるデータからトレーニングされることが多い。
– 分布シフトに対応する方法の1つは、因果メカニズムは環境によって不変であるという直感を利用することである。
– この論文では、ターゲットの因果および反因果変数が観測されないという困難な環境に焦点を当てる。
– 情報理論に基づいて、プロキシとして機能する観測下流変数の特徴量選択およびエンジニアリング技術を開発する。
– 安定したモデルを構築するのに役立つプロキシを特定し、さらに補助的なトレーニングタスクを利用してプロキシから安定性を向上させる情報を抽出する。
– 合成および実データ上の効果を実証する。

要約(オリジナル)

Statistical prediction models are often trained on data that is drawn from different probability distributions than their eventual use cases. One approach to proactively prepare for these shifts harnesses the intuition that causal mechanisms should remain invariant between environments. Here we focus on a challenging setting in which the causal and anticausal variables of the target are unobserved. Leaning on information theory, we develop feature selection and engineering techniques for the observed downstream variables that act as proxies. We identify proxies that help to build stable models and moreover utilize auxiliary training tasks to extract stability-enhancing information from proxies. We demonstrate the effectiveness of our techniques on synthetic and real data.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI