Student-t processes as infinite-width limits of posterior Bayesian neural networks

要約

ベイジアンニューラルネットワーク（BNNS）の漸近特性は、特に無限の幅の制限におけるガウスプロセスによる近似に関して、広範囲に研究されています。
これらの結果を拡張して、後部BNNは学生Tプロセスによって近似できることを示し、モデリングの不確実性においてより大きな柔軟性を提供します。
具体的には、BNNのパラメーターがガウスの事前分布に従い、最後の隠れ層とガウスの尤度関数の両方の分散が逆ガンマ事前分布に従う場合、結果として生成される後部BNNは学生に収束します。
Tプロセスは、無限幅の制限で。
当社の証明は、wassersteinメトリックを活用して、学生-Tプロセス近似の収束率を制御することを確立します。

要約(オリジナル)

The asymptotic properties of Bayesian Neural Networks (BNNs) have been extensively studied, particularly regarding their approximations by Gaussian processes in the infinite-width limit. We extend these results by showing that posterior BNNs can be approximated by Student-t processes, which offer greater flexibility in modeling uncertainty. Specifically, we show that, if the parameters of a BNN follow a Gaussian prior distribution, and the variance of both the last hidden layer and the Gaussian likelihood function follows an Inverse-Gamma prior distribution, then the resulting posterior BNN converges to a Student-t process in the infinite-width limit. Our proof leverages the Wasserstein metric to establish control over the convergence rate of the Student-t process approximation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google