How Reliable is Your Regression Model’s Uncertainty Under Real-World Distribution Shifts?

要約

コンピュータビジョンの重要なアプリケーションの多くは、当然ながら回帰問題として定式化される。医療用画像処理においても、正確な回帰モデルは様々な作業を自動化し、コスト削減と患者の予後改善に貢献する可能性がある。しかし、このような安全性が重要視される分野では、実際に遭遇する可能性のある様々な分布シフトの下でも、モデルの不確実性を確実に推定することが必要とされる。このような背景から、我々は、実世界の様々な分布シフト下における回帰不確実性推定手法の信頼性を調査することに着手した。そのために、我々は、異なるタイプの困難な分布シフトを持つ8つの画像ベースの回帰データセットの広範なベンチマークを提案する。そして、このベンチマークを用いて、最も一般的な不確実性推定手法の多くと、分布外検出のタスクから得られる2つの最新鋭の不確実性スコアを評価する。その結果、分布のずれがない場合には、手法はよく較正されているが、ベンチマークデータセットの多くでは、どの手法も非常に過信することがわかった。このことは、現在の不確実性推定手法の重要な限界を明らかにするものであり、提案するベンチマークは研究コミュニティへの挑戦となるものである。このベンチマークが、真に信頼できる回帰不確実性推定法を開発するための研究に拍車をかけることを期待している。コードは https://github.com/fregu856/regression_uncertainty で公開されています。

要約(オリジナル)

Many important computer vision applications are naturally formulated as regression problems. Within medical imaging, accurate regression models have the potential to automate various tasks, helping to lower costs and improve patient outcomes. Such safety-critical deployment does however require reliable estimation of model uncertainty, also under the wide variety of distribution shifts that might be encountered in practice. Motivated by this, we set out to investigate the reliability of regression uncertainty estimation methods under various real-world distribution shifts. To that end, we propose an extensive benchmark of 8 image-based regression datasets with different types of challenging distribution shifts. We then employ our benchmark to evaluate many of the most common uncertainty estimation methods, as well as two state-of-the-art uncertainty scores from the task of out-of-distribution detection. We find that while methods are well calibrated when there is no distribution shift, they all become highly overconfident on many of the benchmark datasets. This uncovers important limitations of current uncertainty estimation methods, and the proposed benchmark therefore serves as a challenge to the research community. We hope that our benchmark will spur more work on how to develop truly reliable regression uncertainty estimation methods. Code is available at https://github.com/fregu856/regression_uncertainty.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL