Bernstein Flows for Flexible Posteriors in Variational Bayes

要約

変分推論 (VI) は、計算が困難な事後分布を最適化によって近似する手法です。
MCMC とは対照的に、VI は多くの観測値に対応します。
ただし、複素事後分布の場合、最先端の VI アプローチでは満足のいく事後近似が得られないことがよくあります。
この論文では、複雑な多変量事後関数を近似するのに十分な柔軟性を備えた、堅牢で使いやすい方法であるバーンスタイン フロー変分推論 (BF-VI) を紹介します。
BF-VI は、正規化フローとバーンスタイン多項式ベースの変換モデルからのアイデアを組み合わせています。
ベンチマーク実験では、BF-VI ソリューションを正確な事後解析、MCMC ソリューション、および正規化フローベース VI を含む最先端の VI 手法と比較します。
低次元モデルについては、BF-VI が真の事後分布を正確に近似していることを示します。
高次元モデルでは、BF-VI は他の VI 手法よりも優れたパフォーマンスを発揮します。
さらに、BF-VI を使用して、画像データの CNN モデル部分と表形式データの解釈可能なモデル部分を組み合わせた、半構造化黒色腫チャレンジ データのベイジアン モデルを開発し、半構造化メラノーマチャレンジ データのベイジアン モデルを初めて実証します。
-構造化モデル。

要約(オリジナル)

Variational inference (VI) is a technique to approximate difficult to compute posteriors by optimization. In contrast to MCMC, VI scales to many observations. In the case of complex posteriors, however, state-of-the-art VI approaches often yield unsatisfactory posterior approximations. This paper presents Bernstein flow variational inference (BF-VI), a robust and easy-to-use method, flexible enough to approximate complex multivariate posteriors. BF-VI combines ideas from normalizing flows and Bernstein polynomial-based transformation models. In benchmark experiments, we compare BF-VI solutions with exact posteriors, MCMC solutions, and state-of-the-art VI methods including normalizing flow based VI. We show for low-dimensional models that BF-VI accurately approximates the true posterior; in higher-dimensional models, BF-VI outperforms other VI methods. Further, we develop with BF-VI a Bayesian model for the semi-structured Melanoma challenge data, combining a CNN model part for image data with an interpretable model part for tabular data, and demonstrate for the first time how the use of VI in semi-structured models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google