Diagnosing Model Performance Under Distribution Shift

要約

予測モデルは、学習分布と異なるターゲット分布に展開すると、性能が低下することがあります。このような運用上の失敗モードを理解するために、我々はDIstribution Shift DEcomposition (DISDE)と呼ばれる手法を開発し、性能低下を異なるタイプの分布シフトに起因させる。この手法では、性能低下を、1)訓練でより難しいが頻繁に見られる例の増加、2)特徴と結果の関係の変化、3)訓練で頻度の少ない例や見たことのない例での性能低下、の用語に分解しています。これらの用語は、$X$に関する分布を固定し、訓練と目標の間で$Y \mid X$の条件分布を変化させる、または$X$に関する分布を変化させながら$Y \mid X$の条件分布を固定することで定義される。そのために、訓練と対象で共通する値からなる$X$上の仮想分布を定義し、その上で$Y \mid X$、つまり予測性能を比較することが容易となる。この仮想分布に対する性能を、再重み付け法によって推定する。経験的に、本手法が、1)国勢調査データの雇用予測において、分布の変化に対するモデル改良の可能性を示すこと、2)衛星画像分類において、ある領域適応手法がモデル性能の向上に失敗する理由を説明するのに役立つことを示す。

要約(オリジナル)

Prediction models can perform poorly when deployed to target distributions different from the training distribution. To understand these operational failure modes, we develop a method, called DIstribution Shift DEcomposition (DISDE), to attribute a drop in performance to different types of distribution shifts. Our approach decomposes the performance drop into terms for 1) an increase in harder but frequently seen examples from training, 2) changes in the relationship between features and outcomes, and 3) poor performance on examples infrequent or unseen during training. These terms are defined by fixing a distribution on $X$ while varying the conditional distribution of $Y \mid X$ between training and target, or by fixing the conditional distribution of $Y \mid X$ while varying the distribution on $X$. In order to do this, we define a hypothetical distribution on $X$ consisting of values common in both training and target, over which it is easy to compare $Y \mid X$ and thus predictive performance. We estimate performance on this hypothetical distribution via reweighting methods. Empirically, we show how our method can 1) inform potential modeling improvements across distribution shifts for employment prediction on tabular census data, and 2) help to explain why certain domain adaptation methods fail to improve model performance for satellite image classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL