Bayesian Experimental Design via Contrastive Diffusions

要約

ベイズ最適実験計画 (BOED) は、一連の実験の実行コストを削減する強力なツールです。
期待情報利得 (EIG) に基づく場合、設計の最適化は、事前分布と事後分布の間のいくつかの扱いにくい期待値 {\it コントラスト} の最大化に対応します。
BOED 固有の計算の複雑さのため、この最大化を高次元で複雑な設定に拡張することは問題でした。
この研究では、コスト効率の高いサンプリング特性を備えた {\it Expected posterior} 分布を導入し、新しい EIG 勾配表現を介して EIG コントラスト最大化への扱いやすいアクセスを提供します。
拡散ベースのサンプラーを使用して、予想される事後分布のダイナミクスを計算し、バイレベル最適化からのアイデアを活用して、EIG の下限近似に頼ることなく、効率的な統合サンプリング最適化ループを導き出します。
結果として生じる効率の向上により、BOED を十分にテストされた拡散モデルの生成機能まで拡張することができます。
生成モデルを BOED フレームワークに組み込むことで、その範囲と以前は非現実的だったシナリオでの使用を拡大します。
数値実験と最先端の手法との比較により、このアプローチの可能性が示されています。

要約(オリジナル)

Bayesian Optimal Experimental Design (BOED) is a powerful tool to reduce the cost of running a sequence of experiments. When based on the Expected Information Gain (EIG), design optimization corresponds to the maximization of some intractable expected {\it contrast} between prior and posterior distributions. Scaling this maximization to high dimensional and complex settings has been an issue due to BOED inherent computational complexity. In this work, we introduce an {\it expected posterior} distribution with cost-effective sampling properties and provide a tractable access to the EIG contrast maximization via a new EIG gradient expression. Diffusion-based samplers are used to compute the dynamics of the expected posterior and ideas from bi-level optimization are leveraged to derive an efficient joint sampling-optimization loop, without resorting to lower bound approximations of the EIG. The resulting efficiency gain allows to extend BOED to the well-tested generative capabilities of diffusion models. By incorporating generative models into the BOED framework, we expand its scope and its use in scenarios that were previously impractical. Numerical experiments and comparison with state-of-the-art methods show the potential of the approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google