Tractable Function-Space Variational Inference in Bayesian Neural Networks

要約

信頼性の高い予測不確実性の推定は、安全性が重要な設定へのニューラル ネットワークの展開を可能にする上で重要な役割を果たします。
ニューラル ネットワークの予測不確実性を推定する一般的なアプローチは、ネットワーク パラメーターにわたる事前分布を定義し、近似の事後分布を推測し、それを使用して確率的予測を行うことです。
ただし、ニューラル ネットワーク パラメーターに対する明示的な推論では、データ生成プロセスに関する意味のある事前情報をモデルに組み込むことが困難になります。
この文書では、別のアプローチを追求します。
ほとんどの設定における主な関心対象は、ニューラル ネットワーク パラメーターの事後分布によって引き起こされる関数上の分布であることを認識し、ニューラル ネットワークにおけるベイズ推論を関数上の事後分布を推論するものとして明示的に組み立て、スケーラブルな関数空間変分推論方法を提案します。
これにより、事前の情報を組み込むことができ、信頼性の高い予測不確実性の推定値が得られます。
提案された方法が、さまざまな予測タスクで最先端の不確実性推定と予測パフォーマンスにつながることを示し、信頼性の高い不確実性推定が不可欠な、安全性が重要な困難な医療診断タスクで良好に機能することを実証します。

要約(オリジナル)

Reliable predictive uncertainty estimation plays an important role in enabling the deployment of neural networks to safety-critical settings. A popular approach for estimating the predictive uncertainty of neural networks is to define a prior distribution over the network parameters, infer an approximate posterior distribution, and use it to make stochastic predictions. However, explicit inference over neural network parameters makes it difficult to incorporate meaningful prior information about the data-generating process into the model. In this paper, we pursue an alternative approach. Recognizing that the primary object of interest in most settings is the distribution over functions induced by the posterior distribution over neural network parameters, we frame Bayesian inference in neural networks explicitly as inferring a posterior distribution over functions and propose a scalable function-space variational inference method that allows incorporating prior information and results in reliable predictive uncertainty estimates. We show that the proposed method leads to state-of-the-art uncertainty estimation and predictive performance on a range of prediction tasks and demonstrate that it performs well on a challenging safety-critical medical diagnosis task in which reliable uncertainty estimation is essential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google