Learning to solve Bayesian inverse problems: An amortized variational inference approach

要約

逆問題、つまり実験データから物理モデルのパラメータを推定する問題は、科学と工学のいたるところで行われています。
ベイジアン定式化は、姿勢の悪さの問題を軽減し、認識論的な不確実性を定量化するため、ゴールドスタンダードです。
通常、分析的な事後分布は利用できないため、マルコフ連鎖モンテカルロ サンプリングまたは近似変分推論に頼ります。
ただし、新しいデータセットごとに推論を最初から再実行する必要があります。
この欠点により、人工システムの健全性モニタリングや医療診断など、リアルタイム設定へのベイズ定式化の適用性が制限されます。
この論文の目的は、ベイジアン逆マップ、つまりデータから事後マップを学習することにより、リアルタイム推論を可能にする方法論を開発することです。
私たちのアプローチは次のとおりです。
ディープ ニューラル ネットワークに基づくパラメータ化を使用して事後分布を表します。
次に、モデルと互換性のあるすべての可能なデータセットにわたる証拠の下限の期待値を最大化する償却変分推論法によってネットワーク パラメーターを学習します。
科学と工学からの一連のベンチマーク問題の例を解くことで、私たちのアプローチを実証します。
我々の結果は、我々のアプローチの事後推定値がマルコフ連鎖モンテカルロによって得られた対応するグラウンドトゥルースと一致していることを示しています。
トレーニングが完了すると、私たちのアプローチは、ニューラル ネットワークの前方パスを犠牲にして、観測の事後パラメータを提供します。

要約(オリジナル)

Inverse problems, i.e., estimating parameters of physical models from experimental data, are ubiquitous in science and engineering. The Bayesian formulation is the gold standard because it alleviates ill-posedness issues and quantifies epistemic uncertainty. Since analytical posteriors are not typically available, one resorts to Markov chain Monte Carlo sampling or approximate variational inference. However, inference needs to be rerun from scratch for each new set of data. This drawback limits the applicability of the Bayesian formulation to real-time settings, e.g., health monitoring of engineered systems, and medical diagnosis. The objective of this paper is to develop a methodology that enables real-time inference by learning the Bayesian inverse map, i.e., the map from data to posteriors. Our approach is as follows. We represent the posterior distribution using a parameterization based on deep neural networks. Next, we learn the network parameters by amortized variational inference method which involves maximizing the expectation of evidence lower bound over all possible datasets compatible with the model. We demonstrate our approach by solving examples a set of benchmark problems from science and engineering. Our results show that the posterior estimates of our approach are in agreement with the corresponding ground truth obtained by Markov chain Monte Carlo. Once trained, our approach provides the posterior parameters of observation just at the cost of a forward pass of the neural network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google