Streamlining Prediction in Bayesian Deep Learning

要約

ベイズ深層学習 (BDL) への関心の高まりにより、事後分布を推定するための手法が多数登場しました。
しかし、予測などの推論の効率的な計算は、モンテカルロ積分が依然として標準であり、ほとんど見落とされてきました。
この研究では、サンプリングを行わずに 1 つの前方パスを通じて BDL での予測の合理化を検証します。
このために、活性化関数の局所線形化と線形層での局所ガウス近似を使用します。
したがって、事後予測分布の近似を分析的に計算できるようになります。
MLP と ViT や GPT-2 などのトランスフォーマーの両方に対するアプローチを紹介し、回帰および分類タスクでのパフォーマンスを評価します。

要約(オリジナル)

The rising interest in Bayesian deep learning (BDL) has led to a plethora of methods for estimating the posterior distribution. However, efficient computation of inferences, such as predictions, has been largely overlooked with Monte Carlo integration remaining the standard. In this work we examine streamlining prediction in BDL through a single forward pass without sampling. For this we use local linearisation on activation functions and local Gaussian approximations at linear layers. Thus allowing us to analytically compute an approximation to the posterior predictive distribution. We showcase our approach for both MLP and transformers, such as ViT and GPT-2, and assess its performance on regression and classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google