LazyDINO: Fast, scalable, and efficiently amortized Bayesian inversion via structure-exploiting and surrogate-driven measure transport

要約

高価なパラメータから観測可能な (PtO) マップを使用した高次元非線形ベイズ逆問題の、高速かつスケーラブルで効率的に償却された解法を実現するトランスポート マップ変分推論手法である LazyDINO を紹介します。
私たちの方法は、PtO マップとそのヤコビアンの結合サンプルを使用して、PtO マップの微分情報に基づいたニューラル サロゲートを構築するオフライン フェーズで構成されます。
オンライン段階では、観測データが与えられると、遅延マップ [Brennan et al., NeurIPS, (2020)]、つまり、低次元の非線形性を備えた構造利用輸送マップのサロゲート駆動トレーニングを使用して、迅速な事後近似を求めます。
。
トレーニングされた遅延マップは、近似の事後サンプルまたは密度評価を生成します。
私たちのサロゲート構築は、遅延マップ変分推論を使用した償却ベイジアン逆変換用に最適化されています。
我々は、（ｉ）導関数ベースの縮小基底アーキテクチャ［Ｏ’Ｌｅａｒｙ−Ｒｏｓｅｂｅｒｙら、Ｃｏｍｐｕｔ．
メソッドの適用。
メカ。
Ｅｎｇ．、３８８（２０２２）］は、代理事後近似における予想される誤差の上限を最小化し、（ｉｉ）導関数に基づくトレーニング定式化［Ｏ’Ｌｅａｒｙ−Ｒｏｓｅｂｅｒｙら、Ｊ．Ｃｏｍｐｕｔ．
Phys., 496 (2024)] は、サロゲート駆動のトランスポート マップの最適化によって予想される誤差を最小限に抑えます。
私たちの数値結果は、LazyDINO がベイズ逆変換のコスト償却において非常に効率的であることを示しています。
条件付きトランスポートおよび従来のサロゲート駆動トランスポートによるシミュレーションベースの償却推論と比較して、正確な事後近似によるオフライン コストが 1 ～ 2 桁削減されることが観察されています。
特に、LazyDINO は 1,000 未満のオフライン サンプルを使用して一貫してラプラス近似を上回るパフォーマンスを示しますが、他の償却推論手法は 16,000 のオフライン サンプルで困難が生じ、場合によっては失敗します。

要約(オリジナル)

We present LazyDINO, a transport map variational inference method for fast, scalable, and efficiently amortized solutions of high-dimensional nonlinear Bayesian inverse problems with expensive parameter-to-observable (PtO) maps. Our method consists of an offline phase in which we construct a derivative-informed neural surrogate of the PtO map using joint samples of the PtO map and its Jacobian. During the online phase, when given observational data, we seek rapid posterior approximation using surrogate-driven training of a lazy map [Brennan et al., NeurIPS, (2020)], i.e., a structure-exploiting transport map with low-dimensional nonlinearity. The trained lazy map then produces approximate posterior samples or density evaluations. Our surrogate construction is optimized for amortized Bayesian inversion using lazy map variational inference. We show that (i) the derivative-based reduced basis architecture [O’Leary-Roseberry et al., Comput. Methods Appl. Mech. Eng., 388 (2022)] minimizes the upper bound on the expected error in surrogate posterior approximation, and (ii) the derivative-informed training formulation [O’Leary-Roseberry et al., J. Comput. Phys., 496 (2024)] minimizes the expected error due to surrogate-driven transport map optimization. Our numerical results demonstrate that LazyDINO is highly efficient in cost amortization for Bayesian inversion. We observe one to two orders of magnitude reduction of offline cost for accurate posterior approximation, compared to simulation-based amortized inference via conditional transport and conventional surrogate-driven transport. In particular, LazyDINO outperforms Laplace approximation consistently using fewer than 1000 offline samples, while other amortized inference methods struggle and sometimes fail at 16,000 offline samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google