Efficient Neural Network Approaches for Conditional Optimal Transport with Applications in Bayesian Inference

要約

静的および動的条件付き最適トランスポート (COT) 問題の解を近似する 2 つのニューラル ネットワーク アプローチを紹介します。
どちらのアプローチでも、条件付きサンプリングと条件付き密度推定が可能になります。これらは、ベイズ推論$\unicode{x2013}$、特にシミュレーション ベース (‘尤度なし’) 設定における中心的なタスクです。
私たちの方法は、ターゲットの条件付き分布を扱いやすい参照分布の変換として表すため、メジャートランスポートのフレームワークに当てはまります。
多くの測定輸送アプローチは COT マップとして変換をモデル化しますが、マップを取得することは、中程度の次元であっても計算的に困難です。
スケーラビリティを向上させるために、数値アルゴリズムはニューラル ネットワークを使用して COT マップをパラメータ化し、COT 問題の構造をさらに活用します。
私たちの静的アプローチでは、部分入力凸型ニューラル ネットワークの勾配としてマップを近似します。
新しい数値実装を使用して、最先端の代替手段と比較して計算効率を向上させます。
私たちの動的アプローチは、正規化されたニューラル ODE のフロー マップを介して条件付きの最適な輸送を近似します。
静的アプローチと比較すると、トレーニングに時間がかかりますが、モデリングの選択肢が増え、より高速なサンプリングが可能になります。
ベンチマーク データセットとシミュレーション ベースのベイジアン逆問題を使用して、両方のアルゴリズムを数値的に実証し、競合する最先端のアプローチと比較します。

要約(オリジナル)

We present two neural network approaches that approximate the solutions of static and dynamic conditional optimal transport (COT) problems. Both approaches enable conditional sampling and conditional density estimation, which are core tasks in Bayesian inference$\unicode{x2013}$particularly in the simulation-based (‘likelihood-free’) setting. Our methods represent the target conditional distributions as transformations of a tractable reference distribution and, therefore, fall into the framework of measure transport. Although many measure transport approaches model the transformation as COT maps, obtaining the map is computationally challenging, even in moderate dimensions. To improve scalability, our numerical algorithms use neural networks to parameterize COT maps and further exploit the structure of the COT problem. Our static approach approximates the map as the gradient of a partially input-convex neural network. It uses a novel numerical implementation to increase computational efficiency compared to state-of-the-art alternatives. Our dynamic approach approximates the conditional optimal transport via the flow map of a regularized neural ODE; compared to the static approach, it is slower to train but offers more modeling choices and can lead to faster sampling. We demonstrate both algorithms numerically, comparing them with competing state-of-the-art approaches, using benchmark datasets and simulation-based Bayesian inverse problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google