Calibration Error Estimation Using Fuzzy Binning

要約

タイトル: ファジー･ビニングによる較正誤差推定

要約：
– ニューラルネットワークを用いた意思決定は、真の決定確率と合わない場合がある。
– 較正は、より信頼できる深層学習フレームワークに向けた必要なステップである。
– 従来の較正誤差の指標は、明確なビンメンバーシップを基にしていたため、モデルの確率の偏りを悪化させ、較正誤差の不完全な表現をする。
– 本研究では、ファジー･ビニング・アプローチを用いたファジー較正誤差(FCE)指標を提案する。
– この指標により確率の偏りの影響を緩和し、より狭い範囲で較正誤差を測定できる。
– データ集団やクラスメンバーシップを考慮したECEと比較し、FCEは、特に多クラス設定において、モデルの信頼スコアの偏りが較正誤差推定に及ぼす影響を緩和させる上で、より良い較正誤差推定を提供する。
– コードと補足材料は、\href{https://github.com/bihani-g/fce}{https://github.com/bihani-g/fce}で公開されている。

要約(オリジナル)

Neural network-based decisions tend to be overconfident, where their raw outcome probabilities do not align with the true decision probabilities. Calibration of neural networks is an essential step towards more reliable deep learning frameworks. Prior metrics of calibration error primarily utilize crisp bin membership-based measures. This exacerbates skew in model probabilities and portrays an incomplete picture of calibration error. In this work, we propose a Fuzzy Calibration Error metric (FCE) that utilizes a fuzzy binning approach to calculate calibration error. This approach alleviates the impact of probability skew and provides a tighter estimate while measuring calibration error. We compare our metric with ECE across different data populations and class memberships. Our results show that FCE offers better calibration error estimation, especially in multi-class settings, alleviating the effects of skew in model confidence scores on calibration error estimation. We make our code and supplementary materials available at: \href{https://github.com/bihani-g/fce}{https://github.com/bihani-g/fce}

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI