Calibration Error for Decision Making

要約

キャリブレーションにより、意思決定者は予測を確率として確実に解釈できるようになります。
我々は、決定理論のキャリブレーション誤差であるキャリブレーション決定損失 (CDL) を提案します。これは、予測をキャリブレーションすることによって得られる決定ペイオフの最大改善として定義されます。最大値は、ペイオフが制限されたすべての決定タスクにわたっています。
消失 CDL は、下流のすべての意思決定タスクで、校正ミスによるペイオフ損失が同時に消失することを保証します。
CDL と、最もよく研​​究されているメトリクスである予想キャリブレーション誤差 (ECE) を含む既存のキャリブレーション誤差メトリクスとの区別を示します。
私たちの主な技術貢献は、$\Omega(T^{-0.472
Qiao と Valiant による ECE の $ 下限 (2021)。

要約(オリジナル)

Calibration allows predictions to be reliably interpreted as probabilities by decision makers. We propose a decision-theoretic calibration error, the Calibration Decision Loss (CDL), defined as the maximum improvement in decision payoff obtained by calibrating the predictions, where the maximum is over all payoff-bounded decision tasks. Vanishing CDL guarantees the payoff loss from miscalibration vanishes simultaneously for all downstream decision tasks. We show separations between CDL and existing calibration error metrics, including the most well-studied metric Expected Calibration Error (ECE). Our main technical contribution is a new efficient algorithm for online calibration that achieves near-optimal $O(\frac{\log T}{\sqrt{T}})$ expected CDL, bypassing the $\Omega(T^{-0.472})$ lower bound for ECE by Qiao and Valiant (2021).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google