Identifying Representations for Intervention Extrapolation

要約

識別可能で因果的な表現学習の前提は、一般化可能性または堅牢性の観点から現在の表現学習パラダイムを改善することです。
識別可能性の問題は最近進歩しているにもかかわらず、下流タスクに対するこれらの方法の具体的な利点を実証する、より理論的な結果が必要です。
この論文では、訓練時に介入が観察されなかった場合でも、介入が結果にどのような影響を与えるかを予測するという介入外挿のタスクを検討し、たとえ介入が結果に影響を与えたとしても、識別可能な表現がこのタスクに対する効果的な解決策を提供できることを示します。
非線形。
私たちの設定には、結果 Y、潜在特徴 Z の非線形変換として生成される観察特徴 X、および Z に影響を与える外生行動変数 A が含まれます。介入外挿の目的は、外部にある A に対する介入がどのように行われるかを予測することです。
A のトレーニング サポートは Y に影響します。ここで、Z に対する A の効果が線形であり、A に対する Z を回帰するときの残差が完全にサポートされている場合、外挿が可能になります。
Z は潜在的であるため、介入外挿のタスクを識別可能な表現学習と組み合わせます。これを Rep4Ex と呼びます。観測された特徴 X を、A の非線形外挿を可能にする部分空間にマッピングすることを目的としています。ウィーナーのタウバー定理を使用して、次のことを示します。
隠れた表現は、Z 空間でのアフィン変換まで識別可能であり、介入外挿には十分です。
識別可能性は、Z 上の A の線形性の仮定を記述する新しい制約によって特徴付けられます。この洞察に基づいて、線形不変制約を強制し、あらゆる種類のオートエンコーダと組み合わせることができる方法を提案します。
私たちは合成実験を通じて理論的発見を検証し、私たちのアプローチが目に見えない介入の効果を予測することに成功していることを示します。

要約(オリジナル)

The premise of identifiable and causal representation learning is to improve the current representation learning paradigm in terms of generalizability or robustness. Despite recent progress in questions of identifiability, more theoretical results demonstrating concrete advantages of these methods for downstream tasks are needed. In this paper, we consider the task of intervention extrapolation: predicting how interventions affect an outcome, even when those interventions are not observed at training time, and show that identifiable representations can provide an effective solution to this task even if the interventions affect the outcome non-linearly. Our setup includes an outcome Y, observed features X, which are generated as a non-linear transformation of latent features Z, and exogenous action variables A, which influence Z. The objective of intervention extrapolation is to predict how interventions on A that lie outside the training support of A affect Y. Here, extrapolation becomes possible if the effect of A on Z is linear and the residual when regressing Z on A has full support. As Z is latent, we combine the task of intervention extrapolation with identifiable representation learning, which we call Rep4Ex: we aim to map the observed features X into a subspace that allows for non-linear extrapolation in A. We show using Wiener’s Tauberian theorem that the hidden representation is identifiable up to an affine transformation in Z-space, which is sufficient for intervention extrapolation. The identifiability is characterized by a novel constraint describing the linearity assumption of A on Z. Based on this insight, we propose a method that enforces the linear invariance constraint and can be combined with any type of autoencoder. We validate our theoretical findings through synthetic experiments and show that our approach succeeds in predicting the effects of unseen interventions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google