Knockout: A simple way to handle missing inputs

要約

ディープラーニング・モデルは、複雑な入力から予測可能で実用的な情報を抽出することができる。通常、入力が豊富であればあるほど、これらのモデルの性能は向上する。しかし、豊富な入力（例えばマルチモダリティ）を活用するモデルは、推論時に入力が欠落する可能性があるため、広く展開することが難しい場合がある。この問題に対する現在の一般的な解決策には、マージナリゼーション、インピュテーション、複数のモデルのトレーニングなどがある。マージナリゼーションは較正された予測値を得ることができるが、計算コストがかかるため、低次元の入力に対してのみ実行可能である。インピュテーションは、欠落変数に対する点推定を採用し、高次元入力（画像など）にはうまく機能しないので、不正確な予測になる可能性がある。複数のモデルをトレーニングして、各モデルが入力の異なるサブセットを取るようにするとうまくいきますが、欠損入力パターンを事前に知っておく必要があります。さらに、複数のモデルの学習と保持にはコストがかかる。我々は、完全な入力を用いた条件分布と限界分布の両方を学習する効率的な方法を提案する。我々の手法であるノックアウトは、訓練中に入力特徴を適切なプレースホルダ値でランダムに置き換える。Knockoutを理論的に正当化し、暗黙的な周辺化戦略と見なせることを示す。Knockoutを幅広いシミュレーションと実世界のデータセットで評価し、Knockoutが強力な経験的性能を提供できることを示す。

要約(オリジナル)

Deep learning models can extract predictive and actionable information from complex inputs. The richer the inputs, the better these models usually perform. However, models that leverage rich inputs (e.g., multi-modality) can be difficult to deploy widely, because some inputs may be missing at inference. Current popular solutions to this problem include marginalization, imputation, and training multiple models. Marginalization can obtain calibrated predictions but it is computationally costly and therefore only feasible for low dimensional inputs. Imputation may result in inaccurate predictions because it employs point estimates for missing variables and does not work well for high dimensional inputs (e.g., images). Training multiple models whereby each model takes different subsets of inputs can work well but requires knowing missing input patterns in advance. Furthermore, training and retaining multiple models can be costly. We propose an efficient way to learn both the conditional distribution using full inputs and the marginal distributions. Our method, Knockout, randomly replaces input features with appropriate placeholder values during training. We provide a theoretical justification of Knockout and show that it can be viewed as an implicit marginalization strategy. We evaluate Knockout in a wide range of simulations and real-world datasets and show that it can offer strong empirical performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL