Rethinking Variational Inference for Probabilistic Programs with Stochastic Support

要約

確率的サポートを備えた確率的プログラムのための新しい変分推論 (VI) アプローチであるサポート分解変分推論 (SDVI) を紹介します。
この問題に対する既存のアプローチは、元のプログラムの確率的制御フローを維持しながら、変数ごとに単一のグローバル変分ガイドを設計することに依存しています。
SDVI は代わりに、静的サポートを備えたサブプログラムにプログラムを分割してから、それぞれに個別のサブガイドを自動的に構築します。
この分解は、適切な変分族の構築に大きく役立ち、その結果、推論パフォーマンスの大幅な向上が可能になります。

要約(オリジナル)

We introduce Support Decomposition Variational Inference (SDVI), a new variational inference (VI) approach for probabilistic programs with stochastic support. Existing approaches to this problem rely on designing a single global variational guide on a variable-by-variable basis, while maintaining the stochastic control flow of the original program. SDVI instead breaks the program down into sub-programs with static support, before automatically building separate sub-guides for each. This decomposition significantly aids in the construction of suitable variational families, enabling, in turn, substantial improvements in inference performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google