Efficient Conditionally Invariant Representation Learning

要約

多変量連続値変数の条件付き独立性の尺度である条件付き独立回帰共分散 E (CIRCE) を導入します。
CIRCE は、$Y$ が与えられたディストラクタ $Z$ から条件付きで独立しながら、ターゲット $Y$ を推定するためにデータ $X$ の神経特徴 $\varphi(X)$ を学習したい設定で正則化子として適用されます。
$Z$ と $Y$ は両方とも連続値であるが比較的低次元であると想定されますが、$X$ とその特徴は複雑で高次元である可能性があります。
関連する設定には、ドメイン不変学習、公平性、および因果学習が含まれます。
この手順では、$Y$ から $Z$ のカーネル化された特徴への 1 回のリッジ回帰のみが必要ですが、これは事前に実行できます。
その後、この回帰の残差から $\varphi(X)$ の独立性を強制するだけで済みます。これは、魅力的な推定プロパティと一貫性の保証によって可能です。
対照的に、条件付き特徴依存性の以前の測定では、特徴学習の各ステップで複数の回帰が必要であり、その結果、より深刻なバイアスと分散が発生し、計算コストが増加します。
十分に豊富な機能が使用されている場合、 $\varphi(X) \perp \!\!\! の場合に限り、CIRCE がゼロであることが確立されます。
\perp Z \mid Y$。
実験では、条件付きで不変な画像特徴の学習など、困難なベンチマークで以前の方法よりも優れたパフォーマンスを示しました。

要約(オリジナル)

We introduce the Conditional Independence Regression CovariancE (CIRCE), a measure of conditional independence for multivariate continuous-valued variables. CIRCE applies as a regularizer in settings where we wish to learn neural features $\varphi(X)$ of data $X$ to estimate a target $Y$, while being conditionally independent of a distractor $Z$ given $Y$. Both $Z$ and $Y$ are assumed to be continuous-valued but relatively low dimensional, whereas $X$ and its features may be complex and high dimensional. Relevant settings include domain-invariant learning, fairness, and causal learning. The procedure requires just a single ridge regression from $Y$ to kernelized features of $Z$, which can be done in advance. It is then only necessary to enforce independence of $\varphi(X)$ from residuals of this regression, which is possible with attractive estimation properties and consistency guarantees. By contrast, earlier measures of conditional feature dependence require multiple regressions for each step of feature learning, resulting in more severe bias and variance, and greater computational cost. When sufficiently rich features are used, we establish that CIRCE is zero if and only if $\varphi(X) \perp \!\!\! \perp Z \mid Y$. In experiments, we show superior performance to previous methods on challenging benchmarks, including learning conditionally invariant image features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google