Variational Bayesian Last Layers

要約

ベイジアン最終層ニューラル ネットワークをトレーニングするための決定論的変分定式化を導入します。
これにより、サンプリング不要のシングルパス モデルと損失が得られ、不確実性の推定を効果的に改善します。
私たちの変分ベイジアン最終層 (VBLL) は、最終層幅の 2 次複雑度のみでトレーニングおよび評価できるため、(ほぼ) 計算的に自由に標準アーキテクチャに追加できます。
我々は VBLL を実験的に調査し、回帰と分類の両方にわたってベースラインよりも予測精度、キャリブレーション、分布外検出が向上することを示しています。
最後に、VBLL 層と変分ベイジアン特徴学習の組み合わせを調査し、ベイジアン ニューラル ネットワークの分散がより低い崩壊した変分推論方法を実現します。

要約(オリジナル)

We introduce a deterministic variational formulation for training Bayesian last layer neural networks. This yields a sampling-free, single-pass model and loss that effectively improves uncertainty estimation. Our variational Bayesian last layer (VBLL) can be trained and evaluated with only quadratic complexity in last layer width, and is thus (nearly) computationally free to add to standard architectures. We experimentally investigate VBLLs, and show that they improve predictive accuracy, calibration, and out of distribution detection over baselines across both regression and classification. Finally, we investigate combining VBLL layers with variational Bayesian feature learning, yielding a lower variance collapsed variational inference method for Bayesian neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google