Asymptotics of Bayesian Uncertainty Estimation in Random Features Regression

要約

この論文では、事後予測分布の挙動を、過剰パラメータ化領​​域におけるランダム特徴回帰モデルの最大事後推定量のリスクと比較対照します。
事後予測分布 (ベイジアン モデルの平均) の分散に焦点を当て、その漸近線を MAP 推定量のリスクの漸近線と比較します。
モデルの次元がサンプル数の定数倍よりも速く増加する領域では、これら 2 つの量間の漸近一致は信号対雑音比の相転移によって決まります。
また、サンプル数がモデル次元の定数倍よりも速く増加する場合、それらは漸近的に一致します。
数値シミュレーションは、有限次元における 2 つの量のより詳細な分布特性を示します。
我々は、それらはガウス変動を持ち、以前の著者がガウス数列モデルで発見したのと同様の特性を示すと推測しており、これは独立した理論的興味深いものです。

要約(オリジナル)

In this paper we compare and contrast the behavior of the posterior predictive distribution to the risk of the maximum a posteriori estimator for the random features regression model in the overparameterized regime. We will focus on the variance of the posterior predictive distribution (Bayesian model average) and compare its asymptotics to that of the risk of the MAP estimator. In the regime where the model dimensions grow faster than any constant multiple of the number of samples, asymptotic agreement between these two quantities is governed by the phase transition in the signal-to-noise ratio. They also asymptotically agree with each other when the number of samples grow faster than any constant multiple of model dimensions. Numerical simulations illustrate finer distributional properties of the two quantities for finite dimensions. We conjecture they have Gaussian fluctuations and exhibit similar properties as found by previous authors in a Gaussian sequence model, which is of independent theoretical interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google