Scalable Bayesian Learning with posteriors

要約

理論的には説得力がありますが、最新の機械学習モデルを使用したベイジアン学習は、高次元の後方分布を近似する必要があるため、計算上困難です。
この作業では、（i）ポステリオルを紹介します。これは、汎用実装をホストする簡単に拡張できるPytorchライブラリを紹介します。
（ii）事後に実装されている確率勾配マルコフチェーンモンテカルロの焼き戻しフレーミングを提示し、最適化にシームレスに移行し、深いアンサンブルにマイナーな修正を発表して、ベイジアン後部に対して漸近的に偏っていないことを保証し、（III）は、cosposian expection ablicationのユーティリティを介してbayesian efperimentを介してbayesian eppentionを介して、bayesian expectionの影響を実証し、（III）に耐えられないようにします。
モデル。

要約(オリジナル)

Although theoretically compelling, Bayesian learning with modern machine learning models is computationally challenging since it requires approximating a high dimensional posterior distribution. In this work, we (i) introduce posteriors, an easily extensible PyTorch library hosting general-purpose implementations making Bayesian learning accessible and scalable to large data and parameter regimes; (ii) present a tempered framing of stochastic gradient Markov chain Monte Carlo, as implemented in posteriors, that transitions seamlessly into optimization and unveils a minor modification to deep ensembles to ensure they are asymptotically unbiased for the Bayesian posterior, and (iii) demonstrate and compare the utility of Bayesian approximations through experiments including an investigation into the cold posterior effect and applications with large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google