Information-theoretic Generalization Analysis for Expected Calibration Error

要約

ビニングを使用する期待キャリブレーション誤差 (ECE) は、機械学習モデルのキャリブレーション パフォーマンスを評価するために広く採用されていますが、その推定バイアスに関する理論的な理解は限られています。
この論文では、均一質量ビニングと均一幅ビニングという 2 つの一般的なビニング戦略における推定バイアスの最初の包括的な分析を紹介します。
私たちの分析ではバイアスの上限を確立し、収束率の向上を実現します。
さらに、私たちの境界により、推定バイアスを最小限に抑えるための最適なビンの数が初めて明らかになります。
さらに、バイアス分析を情報理論的アプローチに基づく一般化誤差分析に拡張し、未知のデータに対する ECE がどの程度小さいかを数値評価できる上限を導き出します。
深層学習モデルを使用した実験では、この情報理論的な一般化分析アプローチのおかげで、私たちの境界が空ではないことが示されています。

要約(オリジナル)

While the expected calibration error (ECE), which employs binning, is widely adopted to evaluate the calibration performance of machine learning models, theoretical understanding of its estimation bias is limited. In this paper, we present the first comprehensive analysis of the estimation bias in the two common binning strategies, uniform mass and uniform width binning. Our analysis establishes upper bounds on the bias, achieving an improved convergence rate. Moreover, our bounds reveal, for the first time, the optimal number of bins to minimize the estimation bias. We further extend our bias analysis to generalization error analysis based on the information-theoretic approach, deriving upper bounds that enable the numerical evaluation of how small the ECE is for unknown data. Experiments using deep learning models show that our bounds are nonvacuous thanks to this information-theoretic generalization analysis approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google