Leveraging Self-Consistency for Data-Efficient Amortized Bayesian Inference

要約

パラメータとデータの結合確率モデルにおける普遍的対称性を活用することにより、償却ベイズ推論の効率と精度を向上させる方法を提案します。
簡単に言うと、ベイズの定理を逆にし、結合モデルの近似表現に基づいて周辺尤度を推定します。
完全に近似すると、定義により、周辺尤度はすべてのパラメーター値にわたって一定になります。
ただし、近似推論の誤差により、さまざまなパラメーター値にわたる周辺尤度推定値に望ましくないばらつきが生じます。
この対称性の違反には \textit{自己一貫性の喪失} というペナルティを課します。これにより、低データ領域での近似推論の品質が大幅に向上し、一般的なニューラル密度推定器のトレーニングを強化するために使用できます。
私たちはこの方法を多くの合成問題と現実的な科学モデルに適用し、神経事後近似と尤度近似の両方の観点から顕著な利点を発見しました。

要約(オリジナル)

We propose a method to improve the efficiency and accuracy of amortized Bayesian inference by leveraging universal symmetries in the joint probabilistic model of parameters and data. In a nutshell, we invert Bayes’ theorem and estimate the marginal likelihood based on approximate representations of the joint model. Upon perfect approximation, the marginal likelihood is constant across all parameter values by definition. However, errors in approximate inference lead to undesirable variance in the marginal likelihood estimates across different parameter values. We penalize violations of this symmetry with a \textit{self-consistency loss} which significantly improves the quality of approximate inference in low data regimes and can be used to augment the training of popular neural density estimators. We apply our method to a number of synthetic problems and realistic scientific models, discovering notable advantages in the context of both neural posterior and likelihood approximation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google