Quantification of Predictive Uncertainty via Inference-Time Sampling

要約

データの曖昧さによる予測のばらつきは、一般的に、対象の変数として不確実性の推定値を予測するように訓練された、確率論的機能を組み込んだ専用モデルの構築によって対処されてきました。このようなアプローチは、個別のアーキテクチャコンポーネントと学習メカニズムを必要とし、制限的な仮定を含む場合があり、過信、すなわち不正確な予測に対する高い信頼性を示す。本研究では、データの曖昧性を考慮した予測不確実性を推定するためのポストホックサンプリング戦略を提案する。この手法は、与えられた入力に対して異なる妥当な出力を生成することができ、予測分布のパラメトリックな形式を仮定しない。この手法はアーキテクチャにとらわれず、アーキテクチャや学習手順を変更することなく、どのようなフィードフォワード決定論的ネットワークにも適用可能である。画像と非画像の入力データに対する回帰タスクの実験により、本手法が多様でマルチモーダルな予測分布を生成できること、および推定された不確かさと予測誤差の望ましい相関が示された。

要約(オリジナル)

Predictive variability due to data ambiguities has typically been addressed via construction of dedicated models with built-in probabilistic capabilities that are trained to predict uncertainty estimates as variables of interest. These approaches require distinct architectural components and training mechanisms, may include restrictive assumptions and exhibit overconfidence, i.e., high confidence in imprecise predictions. In this work, we propose a post-hoc sampling strategy for estimating predictive uncertainty accounting for data ambiguity. The method can generate different plausible outputs for a given input and does not assume parametric forms of predictive distributions. It is architecture agnostic and can be applied to any feed-forward deterministic network without changes to the architecture or training procedure. Experiments on regression tasks on imaging and non-imaging input data show the method’s ability to generate diverse and multi-modal predictive distributions, and a desirable correlation of the estimated uncertainty with the prediction error.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL