An Axiomatic Assessment of Entropy- and Variance-based Uncertainty Quantification in Regression

要約

不確実性の定量化（UQ）は機械学習において重要ですが、不確実性測定のほとんどの（公理的）研究は分類に焦点を当てており、正式な正当化と評価が限られている回帰設定にギャップを残しています。
この作業では、一連の公理を紹介して、監視された回帰のアレアトリック、認識論、および完全な不確実性の尺度を厳密に評価します。
予測的な指数ファミリを利用することにより、不確実性の表現と対応する不確実性測定のために一般的に使用されるアプローチを一般化できます。
より具体的には、制限と課題に関する広く使用されているエントロピーおよび分散ベースの測定値を分析します。
私たちの調査結果は、回帰におけるUQの原則的な基盤を提供し、信頼できる不確実性評価のための理論的洞察と実用的なガイドラインを提供します。

要約(オリジナル)

Uncertainty quantification (UQ) is crucial in machine learning, yet most (axiomatic) studies of uncertainty measures focus on classification, leaving a gap in regression settings with limited formal justification and evaluations. In this work, we introduce a set of axioms to rigorously assess measures of aleatoric, epistemic, and total uncertainty in supervised regression. By utilizing a predictive exponential family, we can generalize commonly used approaches for uncertainty representation and corresponding uncertainty measures. More specifically, we analyze the widely used entropy- and variance-based measures regarding limitations and challenges. Our findings provide a principled foundation for UQ in regression, offering theoretical insights and practical guidelines for reliable uncertainty assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google