Refining Amortized Posterior Approximations using Gradient-Based Summary Statistics

要約

我々は、ベイジアン逆問題のコンテキストで事後分布の償却近似を改善するための反復フレームワークを提案します。これは、ループアンロール勾配降下法に触発され、最大限の情報を提供する要約統計量に理論的に基づいています。
償却変分推論は、選択した変分分布の表現力と、結合データおよびパラメータ サンプルの形式でのトレーニング データの利用可能性によって制限され、多くの場合、償却ギャップなどの近似誤差につながります。
この問題に対処するために、各ステップで現在の償却事後近似を改良する反復フレームワークを提案します。
私たちのアプローチには、次の 2 つのステップが交互に含まれます。(1) 要約されたデータ残差とパラメーターのペアで構成されるトレーニング データセットを構築します。ここで、要約されたデータ残差は、勾配ベースの要約統計量を使用して生成されます。(2) 条件付き生成モデルをトレーニングします。
– この例の正規化フロー — このデータセットに対して、未知のパラメーターの確率的な更新を取得します。
この手順により、追加のトレーニング データを必要とせずに、償却事後近似を反復的に改善することができます。
制御された設定でこの方法を定型化された問題に適用することで検証し、反復ごとに事後近似が改善されることを観察します。
さらに、波動物理学によって支配される高次元の非線形逆問題である経頭蓋超音波にこの手法を適用することで、現実的なサイズの問題に取り組むこの手法の機能を示し、事後平均によるより良い画像再構成を通じて事後品質が向上することを観察します。

要約(オリジナル)

We present an iterative framework to improve the amortized approximations of posterior distributions in the context of Bayesian inverse problems, which is inspired by loop-unrolled gradient descent methods and is theoretically grounded in maximally informative summary statistics. Amortized variational inference is restricted by the expressive power of the chosen variational distribution and the availability of training data in the form of joint data and parameter samples, which often lead to approximation errors such as the amortization gap. To address this issue, we propose an iterative framework that refines the current amortized posterior approximation at each step. Our approach involves alternating between two steps: (1) constructing a training dataset consisting of pairs of summarized data residuals and parameters, where the summarized data residual is generated using a gradient-based summary statistic, and (2) training a conditional generative model — a normalizing flow in our examples — on this dataset to obtain a probabilistic update of the unknown parameter. This procedure leads to iterative refinement of the amortized posterior approximations without the need for extra training data. We validate our method in a controlled setting by applying it to a stylized problem, and observe improved posterior approximations with each iteration. Additionally, we showcase the capability of our method in tackling realistically sized problems by applying it to transcranial ultrasound, a high-dimensional, nonlinear inverse problem governed by wave physics, and observe enhanced posterior quality through better image reconstruction with the posterior mean.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google