Variational Sequential Optimal Experimental Design using Reinforcement Learning

要約

我々は、情報理論的基準を備えたベイジアンフレームワーク内で有限シーケンスの実験を最適に設計するための新しい方法である、変分逐次最適実験計画(vsOED)を紹介します。
vsOED は、変分事後近似による 1 点報酬定式化を採用し、期待される情報利得に対する証明可能な下限を提供します。
数値手法は、設計ポリシーを最適化するための変分勾配とポリシー勾配の導出と推定、混合ガウス モデルとフローの正規化を使用した事後近似など、アクター批判的強化学習アプローチに従って開発されます。
vsOED は、迷惑パラメータ、暗黙的な尤度、および複数の候補モデルに対応すると同時に、モデルの識別、パラメータの推論、目標指向の予測、およびそれらの重み付けの組み合わせの設計をターゲットにできる柔軟な設計基準をサポートします。
さまざまな工学および科学アプリケーションにわたる vsOED を実証し、既存の逐次実験計画アルゴリズムと比較してその優れたサンプル効率を示します。

要約(オリジナル)

We present variational sequential optimal experimental design (vsOED), a novel method for optimally designing a finite sequence of experiments within a Bayesian framework with information-theoretic criteria. vsOED employs a one-point reward formulation with variational posterior approximations, providing a provable lower bound to the expected information gain. Numerical methods are developed following an actor-critic reinforcement learning approach, including derivation and estimation of variational and policy gradients to optimize the design policy, and posterior approximation using Gaussian mixture models and normalizing flows. vsOED accommodates nuisance parameters, implicit likelihoods, and multiple candidate models, while supporting flexible design criteria that can target designs for model discrimination, parameter inference, goal-oriented prediction, and their weighted combinations. We demonstrate vsOED across various engineering and science applications, illustrating its superior sample efficiency compared to existing sequential experimental design algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google