When does a predictor know its own loss?

要約

予測因子と損失関数が与えられた場合、予測因子が入力で発生する損失をどれだけうまく予測できますか？
これは、予測因子の不確実性推定に関連する重要な計算タスクである損失予測の問題です。
分類設定では、予測因子は通常、ラベル上の分布を予測するため、予測された分布のエントロピーによって与えられた損失の独自の推定値があります。
この見積もりを信頼する必要がありますか？
言い換えれば、予測子はいつそれが知っていることと知らないことを知っていますか？
この作業では、損失予測の理論的基礎を研究します。
私たちの主な貢献は、非自明の損失予測と特定の形式のマルチカルブレーションとの間の厳しい接続を確立することです。これは、計算的に識別可能なサブグループ全体で調整された予測を求めるマルチグループ公平性の概念です。
正式には、予測因子の自己推定を改善できる損失予測因子が、マルチブランド化の失敗に目撃者をもたらし、その逆も同様であることを示します。
これには、非自明の損失予測が事実上、マルチブランド化の監査ほど容易または難しいことはありません。
予測因子のマルチカルブレーションエラーと損失予測因子のトレーニングの有効性との間に堅牢な正の相関を示す実験で、理論的な結果をサポートします。

要約(オリジナル)

Given a predictor and a loss function, how well can we predict the loss that the predictor will incur on an input? This is the problem of loss prediction, a key computational task associated with uncertainty estimation for a predictor. In a classification setting, a predictor will typically predict a distribution over labels and hence have its own estimate of the loss that it will incur, given by the entropy of the predicted distribution. Should we trust this estimate? In other words, when does the predictor know what it knows and what it does not know? In this work we study the theoretical foundations of loss prediction. Our main contribution is to establish tight connections between nontrivial loss prediction and certain forms of multicalibration, a multigroup fairness notion that asks for calibrated predictions across computationally identifiable subgroups. Formally, we show that a loss predictor that is able to improve on the self-estimate of a predictor yields a witness to a failure of multicalibration, and vice versa. This has the implication that nontrivial loss prediction is in effect no easier or harder than auditing for multicalibration. We support our theoretical results with experiments that show a robust positive correlation between the multicalibration error of a predictor and the efficacy of training a loss predictor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google