Adaptive Variational Inference in Probabilistic Graphical Models: Beyond Bethe, Tree-Reweighted, and Convex Free Energies

要約

確率的グラフィカルモデルの変動推論は、限界分布やパーティション関数などの基本量を近似することを目的としています。
人気のあるアプローチは、Bethe近似、樹木が高く、他の種類の凸のないエネルギーです。
これらの近似は効率的ですが、モデルが複雑で高度にインタラクティブな場合、失敗する可能性があります。
この作業では、上記の方法を特別なケースとして含む2つのクラスの近似を分析します。まず、モデルパラメーターが変更された場合。
第二に、エントロピー近似が変更された場合。
いずれかのアプローチの利点と欠点について説明し、この分析から、自由エネルギー近似を理想的に構築する方法を推測します。
観察に基づいて、特定のモデルに自動的に適応し、さまざまな困難な問題に対する有効性を実証する近似を提案します。

要約(オリジナル)

Variational inference in probabilistic graphical models aims to approximate fundamental quantities such as marginal distributions and the partition function. Popular approaches are the Bethe approximation, tree-reweighted, and other types of convex free energies. These approximations are efficient but can fail if the model is complex and highly interactive. In this work, we analyze two classes of approximations that include the above methods as special cases: first, if the model parameters are changed; and second, if the entropy approximation is changed. We discuss benefits and drawbacks of either approach, and deduce from this analysis how a free energy approximation should ideally be constructed. Based on our observations, we propose approximations that automatically adapt to a given model and demonstrate their effectiveness for a range of difficult problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google