Empirical Analysis of Model Selection for Heterogeneous Causal Effect Estimation

要約

私たちは、特に条件付き平均治療効果 (CATE) 推定における因果推論におけるモデル選択の問題を研究します。
機械学習とは異なり、反事実の潜在的な結果が観察されないため、モデル選択のための相互検証に完全に類似するものはありません。
これに向けて、観測されたデータのみを使用する CATE モデル選択のためのさまざまな代理メトリックが提案されています。
ただし、先行研究での比較が限られているため、その有効性についてはよくわかりません。
私たちは、文献で紹介されているサロゲート モデル選択メトリクスと、この研究で紹介されている新しいメトリクスのベンチマークを行うために広範な実証分析を実行します。
AutoML を介してこれらのメトリクスに関連付けられたハイパーパラメータを調整することで公平な比較を保証し、生成モデリングを介して現実的なデータセットを組み込むことでより詳細な傾向を提供します。
私たちの分析は、CATE 推定量と因果アンサンブルの慎重なハイパーパラメーター選択に基づいた新しいモデル選択戦略を示唆しています。

要約(オリジナル)

We study the problem of model selection in causal inference, specifically for conditional average treatment effect (CATE) estimation. Unlike machine learning, there is no perfect analogue of cross-validation for model selection as we do not observe the counterfactual potential outcomes. Towards this, a variety of surrogate metrics have been proposed for CATE model selection that use only observed data. However, we do not have a good understanding regarding their effectiveness due to limited comparisons in prior studies. We conduct an extensive empirical analysis to benchmark the surrogate model selection metrics introduced in the literature, as well as the novel ones introduced in this work. We ensure a fair comparison by tuning the hyperparameters associated with these metrics via AutoML, and provide more detailed trends by incorporating realistic datasets via generative modeling. Our analysis suggests novel model selection strategies based on careful hyperparameter selection of CATE estimators and causal ensembling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google