Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective

要約

モデルの不確実性の定量化には、モデルの予測に関連する不確実性の測定と評価が含まれ、モデルの信頼性と確信度の評価に役立ちます。
ノイズ注入は、ランダム性を導入することでニューラル ネットワークの堅牢性を高めるために使用される手法です。
この論文では、ベイズの観点からノイズ注入と不確実性の定量化の間の関係を確立します。
ニューラル ネットワークの重みにノイズを注入することは、深いガウス過程でのベイズ推論と同等であることを理論的に示します。
したがって、モンテカルロ ノイズ注入 (MCNI) 手法を導入します。この手法では、トレーニング中にパラメーターにノイズを注入し、推論中に複数の順伝播を実行して予測の不確実性を推定します。
回帰タスクと分類タスクのシミュレーションと実験を通じて、私たちの方法はベースライン モデルと比較して優れたパフォーマンスを示しています。

要約(オリジナル)

Model uncertainty quantification involves measuring and evaluating the uncertainty linked to a model’s predictions, helping assess their reliability and confidence. Noise injection is a technique used to enhance the robustness of neural networks by introducing randomness. In this paper, we establish a connection between noise injection and uncertainty quantification from a Bayesian standpoint. We theoretically demonstrate that injecting noise into the weights of a neural network is equivalent to Bayesian inference on a deep Gaussian process. Consequently, we introduce a Monte Carlo Noise Injection (MCNI) method, which involves injecting noise into the parameters during training and performing multiple forward propagations during inference to estimate the uncertainty of the prediction. Through simulation and experiments on regression and classification tasks, our method demonstrates superior performance compared to the baseline model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google