Amortized Bayesian Mixture Models

要約

有限混合は、観測データが複数の異なるプロセスによって生成されるが、各データ ポイントの責任プロセスに関する明示的な情報がないシナリオで役立つモデルの広範なクラスです。
ベイジアン混合モデルの推定は、高次元事後推論やラベル切り替えなどの問題により、計算的に困難です。
さらに、MCMC などの従来の方法は、各混合成分の可能性が分析的に扱いやすい場合にのみ適用できます。
Amortized Bayesian Inference (ABI) は、生成ニューラル ネットワークを使用してベイジアン モデルを推定するためのシミュレーション ベースのフレームワークです。
これにより、明示的な尤度を持たずにモデルを当てはめることができ、高速な推論が可能になります。
したがって、ABI は混合モデルを推定するための魅力的なフレームワークです。
この論文では、混合モデルに合わせた ABI の新しい拡張機能を紹介します。
事後分布をパラメータの分布と (カテゴリカル) 混合指標の分布に因数分解します。これにより、パラメータ推論には生成ニューラル ネットワークを、混合メンバーシップの識別には分類ネットワークを組み合わせて使用​​できるようになります。
提案されたフレームワークは、独立混合モデルと依存混合モデルの両方に対応し、フィルタリングと平滑化を可能にします。
私たちは合成データセットと現実世界のデータセットを通じてアプローチを検証し、実証します。

要約(オリジナル)

Finite mixtures are a broad class of models useful in scenarios where observed data is generated by multiple distinct processes but without explicit information about the responsible process for each data point. Estimating Bayesian mixture models is computationally challenging due to issues such as high-dimensional posterior inference and label switching. Furthermore, traditional methods such as MCMC are applicable only if the likelihoods for each mixture component are analytically tractable. Amortized Bayesian Inference (ABI) is a simulation-based framework for estimating Bayesian models using generative neural networks. This allows the fitting of models without explicit likelihoods, and provides fast inference. ABI is therefore an attractive framework for estimating mixture models. This paper introduces a novel extension of ABI tailored to mixture models. We factorize the posterior into a distribution of the parameters and a distribution of (categorical) mixture indicators, which allows us to use a combination of generative neural networks for parameter inference, and classification networks for mixture membership identification. The proposed framework accommodates both independent and dependent mixture models, enabling filtering and smoothing. We validate and demonstrate our approach through synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google