Efficient Neural Network Approaches for Conditional Optimal Transport with Applications in Bayesian Inference

要約

静的と動的の解を近似する2つのニューラルネットワークアプローチを提示します
$ \ unicode {x1d450} \ unicode {x1d45c} \ unicode {x1d45b} \ unicode {x1d451} \ unicode {x1d456} \ unicode {x1d461} \ unicode {x1d456} \ un
icode {x1d45c} \ unicode {x1d45b} \ unicode {x1d44e} \ unicode {x1d459} \ unicode {x0020} \ unicode {x1d45c} \ unicode {x1d45d} \ unicode
{x1d461} \ unicode {x1d456} \ unicode {x1d45a} \ unicode {x1d44e} \ unicode {x1d459} \ unicode {x0020} \ unicode {x1d461} \ unicode {x1d4
5f} \ unicode {x1d44e} \ unicode {x1d45b} \ unicode {x1d460} \ unicode {x1d45d} \ unicode {x1d45c} \ unicode {x1d45f} \ unicode {x1d461
（COT）問題。
どちらのアプローチでも、条件付きサンプリングと条件付き密度推定が可能になります。これは、ベイジアン推論$ \ unicode {x2013} $のコアタスクであり、特にシミュレーションベース（$ \ unicode {x201c} $ likelihood $ \ unicode {x201d} $）の設定です。
私たちの方法は、扱いやすい基準分布の変換としてのターゲット条件分布を表しています。
ここで選択されたこのような変換をCOTマップの近似であるため、中程度の寸法であっても計算上困難です。
スケーラビリティを向上させるために、数値アルゴリズムはニューラルネットワークを使用して候補マップをパラメーター化し、COT問題の構造をさらに活用します。
私たちの静的アプローチは、部分的に入力継続的なニューラルネットワークの勾配としてマップを近似しています。
新しい数値実装を使用して、最先端の代替品と比較して計算効率を高めます。
私たちの動的なアプローチは、正規化された神経オードのフローマップを介して条件付き最適輸送に近似しています。
静的アプローチと比較して、トレーニングが遅くなりますが、より多くのモデリングの選択肢を提供し、サンプリングをより速くすることができます。
両方のアルゴリズムを数値的に示し、ベンチマークデータセットとシミュレーションベースのベイジアン逆問題を使用して、競合する最先端のアプローチと比較します。

要約(オリジナル)

We present two neural network approaches that approximate the solutions of static and dynamic $\unicode{x1D450}\unicode{x1D45C}\unicode{x1D45B}\unicode{x1D451}\unicode{x1D456}\unicode{x1D461}\unicode{x1D456}\unicode{x1D45C}\unicode{x1D45B}\unicode{x1D44E}\unicode{x1D459}\unicode{x0020}\unicode{x1D45C}\unicode{x1D45D}\unicode{x1D461}\unicode{x1D456}\unicode{x1D45A}\unicode{x1D44E}\unicode{x1D459}\unicode{x0020}\unicode{x1D461}\unicode{x1D45F}\unicode{x1D44E}\unicode{x1D45B}\unicode{x1D460}\unicode{x1D45D}\unicode{x1D45C}\unicode{x1D45F}\unicode{x1D461}$ (COT) problems. Both approaches enable conditional sampling and conditional density estimation, which are core tasks in Bayesian inference$\unicode{x2013}$particularly in the simulation-based ($\unicode{x201C}$likelihood-free$\unicode{x201D}$) setting. Our methods represent the target conditional distribution as a transformation of a tractable reference distribution. Obtaining such a transformation, chosen here to be an approximation of the COT map, is computationally challenging even in moderate dimensions. To improve scalability, our numerical algorithms use neural networks to parameterize candidate maps and further exploit the structure of the COT problem. Our static approach approximates the map as the gradient of a partially input-convex neural network. It uses a novel numerical implementation to increase computational efficiency compared to state-of-the-art alternatives. Our dynamic approach approximates the conditional optimal transport via the flow map of a regularized neural ODE; compared to the static approach, it is slower to train but offers more modeling choices and can lead to faster sampling. We demonstrate both algorithms numerically, comparing them with competing state-of-the-art approaches, using benchmark datasets and simulation-based Bayesian inverse problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google