Sampling-based inference for large linear models, with application to linearised Laplace

要約

大規模な線形モデルは機械学習において普遍的なものであり、現代ではニューラルネットワークの不確実性定量化のための代理モデル、つまり線形化ラプラス法として応用されている。しかし、ベイズ線形モデルに関連する計算コストは、この方法が小さなネットワーク、小さな出力空間、小さなデータセットに適用されることを制限している。我々は、共役ガウス多出力線形モデルに対するスケーラブルなサンプルベースのベイズ推論法と、ハイパーパラメータ（正則化）選択のためのマッチング法を導入することにより、この制限に対処する。さらに、古典的な特徴正規化法（g-prior）を用いて、以前から注目されていた線形化ラプラス法の病理を解決する。これらの貢献により、ResNet-18によるCIFAR100（11Mパラメータ、100出力次元×50kデータポイント）およびU-Netによる高解像度トモグラフィ再構成タスク（2Mパラメータ、251k出力次元）での線形化ニューラルネットワーク推論が実現しました。

要約(オリジナル)

Large-scale linear models are ubiquitous throughout machine learning, with contemporary application as surrogate models for neural network uncertainty quantification; that is, the linearised Laplace method. Alas, the computational cost associated with Bayesian linear models constrains this method’s application to small networks, small output spaces and small datasets. We address this limitation by introducing a scalable sample-based Bayesian inference method for conjugate Gaussian multi-output linear models, together with a matching method for hyperparameter (regularisation) selection. Furthermore, we use a classic feature normalisation method (the g-prior) to resolve a previously highlighted pathology of the linearised Laplace method. Together, these contributions allow us to perform linearised neural network inference with ResNet-18 on CIFAR100 (11M parameters, 100 output dimensions x 50k datapoints) and with a U-Net on a high-resolution tomographic reconstruction task (2M parameters, 251k output dimensions).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL