Introducing an Improved Information-Theoretic Measure of Predictive Uncertainty

要約

現実世界での意思決定に機械学習モデルを適用するには、モデルが知っていることと知らないことを区別する必要があります。
モデルの知識を評価する際の重要な要素は、その予測の不確実性を定量化することです。
予測の不確実性は、通常、ベイジアン モデル平均 (BMA) 予測分布のエントロピーによって測定されます。
しかし、この予測不確実性の現在の尺度の適切性が最近疑問視されています。
これらの制限に関する新たな洞察を提供します。
私たちの分析は、現在の測定が、BMA 予測分布がデータセットを生成した真のモデルの予測分布と同等であると誤って仮定していることを示しています。
したがって、これらの制限を克服するための理論に基づいた対策を導入します。
導入した予測不確実性の尺度の利点を実験的に検証します。
導入した尺度は、制御された合成タスクではより合理的に動作することがわかりました。
さらに、ImageNet での評価は、予測不確実性を利用する現実世界のアプリケーションにおいて、導入された手法が有利であることを示しています。

要約(オリジナル)

Applying a machine learning model for decision-making in the real world requires to distinguish what the model knows from what it does not. A critical factor in assessing the knowledge of a model is to quantify its predictive uncertainty. Predictive uncertainty is commonly measured by the entropy of the Bayesian model average (BMA) predictive distribution. Yet, the properness of this current measure of predictive uncertainty was recently questioned. We provide new insights regarding those limitations. Our analyses show that the current measure erroneously assumes that the BMA predictive distribution is equivalent to the predictive distribution of the true model that generated the dataset. Consequently, we introduce a theoretically grounded measure to overcome these limitations. We experimentally verify the benefits of our introduced measure of predictive uncertainty. We find that our introduced measure behaves more reasonably in controlled synthetic tasks. Moreover, our evaluations on ImageNet demonstrate that our introduced measure is advantageous in real-world applications utilizing predictive uncertainty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google