All-in-one simulation-based inference

要約

償却ベイズ推論は、モデル シミュレーションを使用して確率的推論問題を解決するようにニューラル ネットワークをトレーニングするため、新しく観測されたデータに対してベイズ推論を迅速に実行できるようになります。
ただし、現在のシミュレーション ベースの償却推論方法は、シミュレーションを大量に消費し、柔軟性に欠けます。固定パラメトリック事前タスク、シミュレーター、および推論タスクを事前に指定する必要があります。
ここでは、これらの制限を克服する新しい償却推論手法、Simformer を紹介します。
Simformer は、トランスフォーマー アーキテクチャを使用して確率的拡散モデルをトレーニングすることにより、ベンチマーク タスクで現在の最先端の償却推論アプローチよりも優れたパフォーマンスを発揮し、大幅に柔軟性が向上します。関数値パラメータを持つモデルに適用でき、推論シナリオを処理できます。
欠損データまたは非構造化データを使用して、事後分布と尤度の両方を含む、パラメータとデータの結合分布の任意の条件をサンプリングできます。
生態学、疫学、神経科学のシミュレーター上での Simformer のパフォーマンスと柔軟性を紹介し、それがシミュレーション ベースのモデルでの償却ベイズ推論の新しい可能性と応用領域を開くことを実証します。

要約(オリジナル)

Amortized Bayesian inference trains neural networks to solve stochastic inference problems using model simulations, thereby making it possible to rapidly perform Bayesian inference for any newly observed data. However, current simulation-based amortized inference methods are simulation-hungry and inflexible: They require the specification of a fixed parametric prior, simulator, and inference tasks ahead of time. Here, we present a new amortized inference method — the Simformer — which overcomes these limitations. By training a probabilistic diffusion model with transformer architectures, the Simformer outperforms current state-of-the-art amortized inference approaches on benchmark tasks and is substantially more flexible: It can be applied to models with function-valued parameters, it can handle inference scenarios with missing or unstructured data, and it can sample arbitrary conditionals of the joint distribution of parameters and data, including both posterior and likelihood. We showcase the performance and flexibility of the Simformer on simulators from ecology, epidemiology, and neuroscience, and demonstrate that it opens up new possibilities and application domains for amortized Bayesian inference on simulation-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google