A Monte Carlo Framework for Calibrated Uncertainty Estimation in Sequence Prediction

要約

画像やその他の高次元データからシーケンスを確率的に予測することは、特にリスクに敏感なアプリケーションにおいて重要な課題です。
これらの設定では、多くの場合、(言語モデリングのように最も可能性の高いシーケンスを決定するだけではなく) 予測に関連する不確実性を定量化することが望ましいです。
この論文では、離散シーケンスの分布に関連する確率と信頼区間を推定するためのモンテカルロ フレームワークを提案します。
私たちのフレームワークは、自己回帰トレーニングされたニューラル ネットワークとして実装されたモンテカルロ シミュレーターを使用して、画像入力に条件付けされたシーケンスをサンプリングします。
次に、これらのサンプルを使用して確率と信頼区間を推定します。
合成データと実データの実験では、フレームワークが正確な識別予測を生成しますが、誤った調整が発生する可能性があることが示されています。
この欠点に対処するために、時間依存の正則化手法を提案します。この手法は、調整された予測を生成することが示されています。

要約(オリジナル)

Probabilistic prediction of sequences from images and other high-dimensional data is a key challenge, particularly in risk-sensitive applications. In these settings, it is often desirable to quantify the uncertainty associated with the prediction (instead of just determining the most likely sequence, as in language modeling). In this paper, we propose a Monte Carlo framework to estimate probabilities and confidence intervals associated with the distribution of a discrete sequence. Our framework uses a Monte Carlo simulator, implemented as an autoregressively trained neural network, to sample sequences conditioned on an image input. We then use these samples to estimate the probabilities and confidence intervals. Experiments on synthetic and real data show that the framework produces accurate discriminative predictions, but can suffer from miscalibration. In order to address this shortcoming, we propose a time-dependent regularization method, which is shown to produce calibrated predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google