Demystifying Spectral Feature Learning for Instrumental Variable Regression

要約

ノンパラメトリックインストゥルメンタル変数（IV）回帰を使用して、隠された交絡因子の存在下での因果効果推定の問題に対処します。
主要な戦略では、スペクトル機能、つまり、処理を機器にリンクするオペレーターの最上位の固有空間にまたがる学習された機能を採用しています。
スペクトル機能に基づいて2段の最小二乗推定器に結合した一般化エラーを導き出し、メソッドのパフォーマンスモードと障害モードに関する洞察を得ます。
パフォーマンスは2つの重要な要因に依存し、結果の明確な分類につながることを示します。
良いシナリオでは、アプローチは最適です。
これは、強力なスペクトルアライメントで発生します。つまり、構造関数は、この演算子のゆっくりした固有値減衰と組み合わせて、強力な機器を示す条件演算子の最上位の固有権によって十分に表現されています。
悪いシナリオでのパフォーマンスの低下：スペクトルアライメントは引き続き強力ですが、急速な固有値減衰（より弱い機器を示す）には、効果的な機能学習のために大幅に多くのサンプルが必要です。
最後に、ugいシナリオでは、スペクトルアライメントが弱いため、固有値の特性に関係なく、メソッドが失敗します。
私たちの合成実験は、この分類法を経験的に検証します。

要約(オリジナル)

We address the problem of causal effect estimation in the presence of hidden confounders, using nonparametric instrumental variable (IV) regression. A leading strategy employs spectral features – that is, learned features spanning the top eigensubspaces of the operator linking treatments to instruments. We derive a generalization error bound for a two-stage least squares estimator based on spectral features, and gain insights into the method’s performance and failure modes. We show that performance depends on two key factors, leading to a clear taxonomy of outcomes. In a good scenario, the approach is optimal. This occurs with strong spectral alignment, meaning the structural function is well-represented by the top eigenfunctions of the conditional operator, coupled with this operator’s slow eigenvalue decay, indicating a strong instrument. Performance degrades in a bad scenario: spectral alignment remains strong, but rapid eigenvalue decay (indicating a weaker instrument) demands significantly more samples for effective feature learning. Finally, in the ugly scenario, weak spectral alignment causes the method to fail, regardless of the eigenvalues’ characteristics. Our synthetic experiments empirically validate this taxonomy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google