Aleatoric uncertainty for Errors-in-Variables models in deep regression

要約

深層学習のベイズ的な扱いによって、深層ニューラルネットワークの予測に関連する不確実性を計算することができる。我々は、ベイズ型深層回帰において、変数内誤差の概念を用いて、採用したニューラルネットワークの入力に関連する不確実性をも説明できることを示す。本アプローチは、一般的に見過ごされている不確実性の原因を利用し、予測不確実性を、より完全で、多くの場合、統計的観点からより一貫性のある、アレアトリック部分とエピステミック部分に分解するものである。我々は、様々なシミュレーションと実例を用いてこのアプローチを議論し、変数内誤差モデルの使用は、変数内誤差を含まないモデルの予測性能を維持しながら、不確実性を増大させることを観察する。回帰関数が既知の例では、このグランドトゥルースがErrors-in-Variablesモデルによって大幅にカバーされることが観察され、このアプローチがより信頼性の高い不確実性推定につながることが示される。

要約(オリジナル)

A Bayesian treatment of deep learning allows for the computation of uncertainties associated with the predictions of deep neural networks. We show how the concept of Errors-in-Variables can be used in Bayesian deep regression to also account for the uncertainty associated with the input of the employed neural network. The presented approach thereby exploits a relevant, but generally overlooked, source of uncertainty and yields a decomposition of the predictive uncertainty into an aleatoric and epistemic part that is more complete and, in many cases, more consistent from a statistical perspective. We discuss the approach along various simulated and real examples and observe that using an Errors-in-Variables model leads to an increase in the uncertainty while preserving the prediction performance of models without Errors-in-Variables. For examples with known regression function we observe that this ground truth is substantially better covered by the Errors-in-Variables model, indicating that the presented approach leads to a more reliable uncertainty estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL