Out-of-distribution robustness for multivariate analysis via causal regularisation

要約

分布シフトに対する堅牢性を保証する因果関係に根ざした古典的な機械学習アルゴリズムの正規化戦略を提案します。
アンカー回帰フレームワークに基づいて、部分的な最小二乗、低ランク回帰、多重線形回帰などの古典的な多変量解析アルゴリズムの損失関数に簡単な正規化項をどのように組み込むかを示します。
当社のフレームワークにより、ユーザーは損失関数の互換性を正規化戦略と効率的に検証できます。
選択されたアルゴリズムの推定量が提供され、合成および実世界の気候科学の問題における一貫性と有効性を示します。
経験的検証は、アンカー正規化の汎用性を強調し、多変量解析アプローチとの互換性と、分布シフトを守りながら複製可能性を高める役割を強調しています。
拡張されたアンカーフレームワークは、因果関係の推論方法論を進め、信頼できる分散除外一般化の必要性に対処します。

要約(オリジナル)

We propose a regularisation strategy of classical machine learning algorithms rooted in causality that ensures robustness against distribution shifts. Building upon the anchor regression framework, we demonstrate how incorporating a straightforward regularisation term into the loss function of classical multivariate analysis algorithms, such as (orthonormalized) partial least squares, reduced-rank regression, and multiple linear regression, enables out-of-distribution generalisation. Our framework allows users to efficiently verify the compatibility of a loss function with the regularisation strategy. Estimators for selected algorithms are provided, showcasing consistency and efficacy in synthetic and real-world climate science problems. The empirical validation highlights the versatility of anchor regularisation, emphasizing its compatibility with multivariate analysis approaches and its role in enhancing replicability while guarding against distribution shifts. The extended anchor framework advances causal inference methodologies, addressing the need for reliable out-of-distribution generalisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google