Leveraging Self-Consistency for Data-Efficient Amortized Bayesian Inference

要約

パラメータ $\theta$ とデータ $y$ の確率的結合モデル $p(\theta, y)$ の普遍的対称性を利用することで、償却ベイズ推論 (ABI) の効率と精度を向上させる方法を提案します。
簡単に言うと、ベイズの定理を逆にし、結合モデルの近似表現に基づいて周辺尤度を推定します。
完全に近似すると、定義により、周辺尤度はすべてのパラメーター値にわたって一定になります。
ただし、近似誤差により、さまざまなパラメーター値にわたる周辺尤度推定値に望ましくないばらつきが生じます。
この対称性の違反を損失関数として定式化し、条件付きニューラル密度推定器の学習ダイナミクスを加速します。
私たちの方法を、陽的尤度 (尤度ベース) を持つ双峰性のトイ問題と、陰的尤度 (シミュレーション ベース) を持つ現実的モデルに適用します。

要約(オリジナル)

We propose a method to improve the efficiency and accuracy of amortized Bayesian inference (ABI) by leveraging universal symmetries in the probabilistic joint model $p(\theta, y)$ of parameters $\theta$ and data $y$. In a nutshell, we invert Bayes’ theorem and estimate the marginal likelihood based on approximate representations of the joint model. Upon perfect approximation, the marginal likelihood is constant across all parameter values by definition. However, approximation error leads to undesirable variance in the marginal likelihood estimates across different parameter values. We formulate violations of this symmetry as a loss function to accelerate the learning dynamics of conditional neural density estimators. We apply our method to a bimodal toy problem with an explicit likelihood (likelihood-based) and a realistic model with an implicit likelihood (simulation-based).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google