Model Evaluation in the Dark: Robust Classifier Metrics with Missing Labels

要約

監視された学習のデータの欠落はよく研究されていますが、モデル評価中に欠落しているラベルの特定の問題は見落とされています。
不見積り値を持つサンプルを無視すると、一般的なソリューションは、特にデータがランダムに欠落していない場合（mnar）、バイアスを導入できます。
Precision、Recall、ROC-AUCなどのメトリックを使用して分類器を評価するための複数の代入技術を提案します。
この方法は、ポイント推定値だけでなく、ラベルが欠落している場合のこれらの量の予測分布も提供します。
予測分布の位置と形状が一般的に正しいことを経験的に示します。
さらに、この分布はほぼガウスであり、有限サンプルの収束境界を提供することを確立します。
さらに、現実的なエラーモデルの下での近似の妥当性を確認する堅牢性証明が提示されます。

要約(オリジナル)

Missing data in supervised learning is well-studied, but the specific issue of missing labels during model evaluation has been overlooked. Ignoring samples with missing values, a common solution, can introduce bias, especially when data is Missing Not At Random (MNAR). We propose a multiple imputation technique for evaluating classifiers using metrics such as precision, recall, and ROC-AUC. This method not only offers point estimates but also a predictive distribution for these quantities when labels are missing. We empirically show that the predictive distribution’s location and shape are generally correct, even in the MNAR regime. Moreover, we establish that this distribution is approximately Gaussian and provide finite-sample convergence bounds. Additionally, a robustness proof is presented, confirming the validity of the approximation under a realistic error model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google