BayesDLL: Bayesian Deep Learning Library

要約

大規模なディープ ネットワーク向けの PyTorch 用の新しいベイジアン ニューラル ネットワーク ライブラリをリリースします。
私たちのライブラリは、主流の近似ベイジアン推論アルゴリズム (変分推論、MC ドロップアウト、確率的勾配 MCMC、ラプラス近似) を実装しています。
他の既存のベイジアン ニューラル ネットワーク ライブラリとの主な違いは次のとおりです。 1) 私たちのライブラリは、ビジョン トランスフォーマー (ViT) を含む非常に大規模なディープ ネットワークを扱うことができます。
2) ユーザーにとってコードの変更は事実上ゼロです (例: バックボーン ネットワークの定義コードはまったく変更する必要がありません)。
3) 私たちのライブラリでは、事前トレーニングされたモデルの重みを事前平均として機能させることもできます。これは、下流データだけで最初から最適化するのが難しい ViT のような大規模な基盤モデルを使用してベイズ推論を実行するのに非常に役立ちます。
私たちのコードは、\url{https://github.com/SamsungLabs/BayesDLL} で公開されています。\footnote{ミラー リポジトリも、\url{https://github.com/minyoungkim21/BayesDLL} で入手できます。}
。

要約(オリジナル)

We release a new Bayesian neural network library for PyTorch for large-scale deep networks. Our library implements mainstream approximate Bayesian inference algorithms: variational inference, MC-dropout, stochastic-gradient MCMC, and Laplace approximation. The main differences from other existing Bayesian neural network libraries are as follows: 1) Our library can deal with very large-scale deep networks including Vision Transformers (ViTs). 2) We need virtually zero code modifications for users (e.g., the backbone network definition codes do not neet to be modified at all). 3) Our library also allows the pre-trained model weights to serve as a prior mean, which is very useful for performing Bayesian inference with the large-scale foundation models like ViTs that are hard to optimise from scratch with the downstream data alone. Our code is publicly available at: \url{https://github.com/SamsungLabs/BayesDLL}\footnote{A mirror repository is also available at: \url{https://github.com/minyoungkim21/BayesDLL}.}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google