Sampling-based inference for large linear models, with application to linearised Laplace

要約

大規模な線形モデルは、機械学習全体に遍在しており、ニューラル ネットワークの不確実性を定量化するための代理モデルとして現代的に適用されています。
つまり、線形化されたラプラス法です。
残念ながら、ベイジアン線形モデルに関連する計算コストは​​、この方法の適用を小さなネットワーク、小さな出力スペース、および小さなデータセットに制約します。
この制限に対処するには、共役ガウス多出力線形モデルのスケーラブルなサンプルベースのベイジアン推論方法と、ハイパーパラメーター (正則化) 選択のマッチング方法を導入します。
さらに、線形化されたラプラス法の以前に強調された病状を解決するために、古典的な特徴正規化法 (g-prior) を使用します。
これらの貢献により、ResNet-18 を CIFAR100 (11M パラメーター、100 出力 x 50k データポイント) で、ResNet-50 を Imagenet (50M パラメーター、1000 出力 x 1.2M データポイント) で、U を使用して、線形化されたニューラル ネットワーク推論を実行できます。
-高解像度トモグラフィー再構成タスクのネット (2M パラメーター、251k 出力 ~ 寸法)。

要約(オリジナル)

Large-scale linear models are ubiquitous throughout machine learning, with contemporary application as surrogate models for neural network uncertainty quantification; that is, the linearised Laplace method. Alas, the computational cost associated with Bayesian linear models constrains this method’s application to small networks, small output spaces and small datasets. We address this limitation by introducing a scalable sample-based Bayesian inference method for conjugate Gaussian multi-output linear models, together with a matching method for hyperparameter (regularisation) selection. Furthermore, we use a classic feature normalisation method (the g-prior) to resolve a previously highlighted pathology of the linearised Laplace method. Together, these contributions allow us to perform linearised neural network inference with ResNet-18 on CIFAR100 (11M parameters, 100 outputs x 50k datapoints), with ResNet-50 on Imagenet (50M parameters, 1000 outputs x 1.2M datapoints) and with a U-Net on a high-resolution tomographic reconstruction task (2M parameters, 251k output~dimensions).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google