Adaptive Optimization for Prediction with Missing Data

要約

欠損項目のあるデータに対して予測モデルを学習する場合、最も広く使われている汎用的なアプローチは、まず欠損項目をインプットしてから予測値を計算するパイプライン手法である。本論文では、欠損データによる予測を2段階の適応的最適化問題として捉え、回帰係数が観測された特徴の集合に適応する、新しいクラスのモデル、適応的線形回帰モデルを提案する。いくつかの適応線形回帰モデルは、インピュテーションルールと下流の線形回帰モデルを逐次学習するのではなく、同時に学習することと等価であることを示す。このインプットと回帰の結合の解釈を利用して、我々のフレームワークを非線形モデルに一般化する。データがランダムに欠落しないことが強い設定において、我々の手法は標本外精度で2-10%の改善を達成する。

要約(オリジナル)

When training predictive models on data with missing entries, the most widely used and versatile approach is a pipeline technique where we first impute missing entries and then compute predictions. In this paper, we view prediction with missing data as a two-stage adaptive optimization problem and propose a new class of models, adaptive linear regression models, where the regression coefficients adapt to the set of observed features. We show that some adaptive linear regression models are equivalent to learning an imputation rule and a downstream linear regression model simultaneously instead of sequentially. We leverage this joint-impute-then-regress interpretation to generalize our framework to non-linear models. In settings where data is strongly not missing at random, our methods achieve a 2-10% improvement in out-of-sample accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL