Likelihood Annealing: Fast Calibrated Uncertainty for Regression

要約

近年のディープラーニングの進歩により、医療画像、自然言語処理、自律システムなどのアプリケーションにおいて、不確実性の推定がますます重要になってきていることが示されている。しかし、不確実性を正確に定量化することは、特に出力空間が連続的である回帰課題においては、依然として困難な問題である。回帰問題の不確実性推定を可能にするディープラーニングアプローチは、しばしば収束が遅く、定量化に効果的に使用できない較正不十分な不確実性推定値をもたらす。最近提案されたポストホックキャリブレーション技術は、回帰問題にはほとんど適用できず、既に遅いモデル学習フェーズにオーバーヘッドを追加することが多い。本研究では、尤度アニーリングと呼ばれる回帰タスクのための高速な較正不確かさ推定法を提案する。これは、一貫して深回帰モデルの収束を改善し、ポストホック較正フェーズなしで較正された不確かさを得ることができる。低次元の回帰問題のみに焦点を当てた、回帰における較正不確かさのためのこれまでの手法とは異なり、我々の手法は、高次元の回帰を含む、広範な回帰問題においてうまく機能する。我々の実証的な分析により、我々の手法が、多層パーセプトロン、1次元/2次元畳み込みネットワーク、グラフニューラルネットワークを含む、様々なネットワークアーキテクチャに対して、5つの非常に多様なタスク、すなわち、以下のタスクにおいて一般化可能であることが示された、カオス粒子の軌跡ノイズ除去、3次元原子表現を用いた分子の物性予測、自然画像の超解像、MRIを用いた医用画像変換。

要約(オリジナル)

Recent advances in deep learning have shown that uncertainty estimation is becoming increasingly important in applications such as medical imaging, natural language processing, and autonomous systems. However, accurately quantifying uncertainty remains a challenging problem, especially in regression tasks where the output space is continuous. Deep learning approaches that allow uncertainty estimation for regression problems often converge slowly and yield poorly calibrated uncertainty estimates that can not be effectively used for quantification. Recently proposed post hoc calibration techniques are seldom applicable to regression problems and often add overhead to an already slow model training phase. This work presents a fast calibrated uncertainty estimation method for regression tasks called Likelihood Annealing, that consistently improves the convergence of deep regression models and yields calibrated uncertainty without any post hoc calibration phase. Unlike previous methods for calibrated uncertainty in regression that focus only on low-dimensional regression problems, our method works well on a broad spectrum of regression problems, including high-dimensional regression.Our empirical analysis shows that our approach is generalizable to various network architectures, including multilayer perceptrons, 1D/2D convolutional networks, and graph neural networks, on five vastly diverse tasks, i.e., chaotic particle trajectory denoising, physical property prediction of molecules using 3D atomistic representation, natural image super-resolution, and medical image translation using MRI.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL