Fearless Stochasticity in Expectation Propagation

要約

期待伝播 (EP) は、確率モデルで近似推論を実行するためのアルゴリズムのファミリーです。
EP の更新には、モンテカルロ (MC) サンプルから推定できるモーメント (特定の関数の期待値) の評価が含まれます。
ただし、アップデートは単純に実行すると MC ノイズに対して堅牢ではなく、これまでのさまざまな研究でさまざまな方法でこの問題に対処しようと試みられてきました。
この研究では、EP の瞬間一致更新に関する新しい視点を提供します。
つまり、変分目標の自然勾配ベースの最適化を実行します。
私たちはこの洞察を利用して 2 つの新しい EP バリアントを作成し、特に MC 推定に適した更新を行います。
それらは安定したままであり、単一サンプルのみで推定した場合に最もサンプル効率が高くなります。
これらの新しいバリアントは、以前のバージョンの利点を組み合わせて、主要な弱点に対処します。
特に、調整が容易で、速度と精度のトレードオフが向上し、バイアス除去推定器の使用に依存しません。
さまざまな確率的推論タスクに対するその有効性を実証します。

要約(オリジナル)

Expectation propagation (EP) is a family of algorithms for performing approximate inference in probabilistic models. The updates of EP involve the evaluation of moments — expectations of certain functions — which can be estimated from Monte Carlo (MC) samples. However, the updates are not robust to MC noise when performed naively, and various prior works have attempted to address this issue in different ways. In this work, we provide a novel perspective on the moment-matching updates of EP; namely, that they perform natural-gradient-based optimisation of a variational objective. We use this insight to motivate two new EP variants, with updates that are particularly well-suited to MC estimation. They remain stable and are most sample-efficient when estimated with just a single sample. These new variants combine the benefits of their predecessors and address key weaknesses. In particular, they are easier to tune, offer an improved speed-accuracy trade-off, and do not rely on the use of debiasing estimators. We demonstrate their efficacy on a variety of probabilistic inference tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google