Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling

要約

ベイジアン最終層 (BLL) モデルは、ニューラル ネットワークの出力層の不確実性にのみ焦点を当てており、より複雑なベイジアン モデルと同等のパフォーマンスを示します。
ただし、ベイジアン最終層 (BLL) モデルの最終層の重みにガウス事前分布を使用すると、非ガウス、外れ値が多い、または高次元のデータセットに直面した場合の表現力が制限されます。
この不足に対処するために、拡散技術とベイジアン最終層の重みの変分学習のための暗黙的事前分布を組み合わせた新しいアプローチを導入します。
この方法では、BLL での重み事前分布のモデル化に陰的分布を活用し、真の事後予測を近似する拡散サンプラーと組み合わせて、包括的なベイズの事前および事後推定戦略を確立します。
明示的かつ計算効率の高い変分下限を提供することで、私たちの方法は BLL モデルの表現能力を強化し、モデルの精度、キャリブレーション、および分布外の検出能力を強化することを目的としています。
詳細な探索と実験的検証を通じて、計算効率を確保しながら予測精度と不確実性の定量化を向上させるこの方法の可能性を示します。

要約(オリジナル)

Bayesian Last Layer (BLL) models focus solely on uncertainty in the output layer of neural networks, demonstrating comparable performance to more complex Bayesian models. However, the use of Gaussian priors for last layer weights in Bayesian Last Layer (BLL) models limits their expressive capacity when faced with non-Gaussian, outlier-rich, or high-dimensional datasets. To address this shortfall, we introduce a novel approach that combines diffusion techniques and implicit priors for variational learning of Bayesian last layer weights. This method leverages implicit distributions for modeling weight priors in BLL, coupled with diffusion samplers for approximating true posterior predictions, thereby establishing a comprehensive Bayesian prior and posterior estimation strategy. By delivering an explicit and computationally efficient variational lower bound, our method aims to augment the expressive abilities of BLL models, enhancing model accuracy, calibration, and out-of-distribution detection proficiency. Through detailed exploration and experimental validation, We showcase the method’s potential for improving predictive accuracy and uncertainty quantification while ensuring computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google