Effortless, Simulation-Efficient Bayesian Inference using Tabular Foundation Models

要約

シミュレーションベースの推論（SBI）は、ベイジアン推論を実行するための柔軟で一般的なアプローチを提供します。SBIでは、ニューラルネットワークはモデルからシミュレートされた合成データでトレーニングされ、観察されたデータの後部分布を迅速に推測するために使用されます。
SBIの重要な目標は、特に高価なシミュレーターの場合、できるだけ少ないシミュレーションで正確な推論を達成することです。
この作業では、表形式データの最近の確率的基礎モデルを再利用することにより、この課題に対処します。表形式の基礎モデル、特にTABPFNが、SBIの事前に訓練された自己回帰条件密度推定器としてどのように使用できるかを示します。
以前のDATA適合ネットワーク（NPE-PF）を使用した神経事後推定を提案し、ベンチマークタスクと2つの複雑な科学的逆問題の両方の精度の観点から、現在のSBIアプローチと競合していることを示しています。
重要なのは、多くの場合、シミュレーション効率の点で大幅に優れていることが多く、シミュレーションが数桁少ない場合があります。
NPE-PFは、推論ネットワークの選択、トレーニング、およびハイパーパラメーターチューニングの必要性を排除します。
また、指定の誤りをモデル化するために優れた堅牢性を示し、TABPFNのコンテキストサイズの制限を超えるシミュレーション予算にスケーリングできることも示しています。
NPE-PFは、SBIに新しい方向性を提供します。SBIでは、トレーニングを受けていない汎用の推論モデルが、幅広い確率的逆問題に対して効率的で使いやすく、柔軟なソリューションを提供します。

要約(オリジナル)

Simulation-based inference (SBI) offers a flexible and general approach to performing Bayesian inference: In SBI, a neural network is trained on synthetic data simulated from a model and used to rapidly infer posterior distributions for observed data. A key goal for SBI is to achieve accurate inference with as few simulations as possible, especially for expensive simulators. In this work, we address this challenge by repurposing recent probabilistic foundation models for tabular data: We show how tabular foundation models — specifically TabPFN — can be used as pre-trained autoregressive conditional density estimators for SBI. We propose Neural Posterior Estimation with Prior-data Fitted Networks (NPE-PF) and show that it is competitive with current SBI approaches in terms of accuracy for both benchmark tasks and two complex scientific inverse problems. Crucially, it often substantially outperforms them in terms of simulation efficiency, sometimes requiring orders of magnitude fewer simulations. NPE-PF eliminates the need for inference network selection, training, and hyperparameter tuning. We also show that it exhibits superior robustness to model misspecification and can be scaled to simulation budgets that exceed the context size limit of TabPFN. NPE-PF provides a new direction for SBI, where training-free, general-purpose inference models offer efficient, easy-to-use, and flexible solutions for a wide range of stochastic inverse problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google