Beyond ELBOs: A Large-Scale Evaluation of Variational Methods for Sampling

要約

モンテカルロ法、変分推論、およびそれらの組み合わせは、扱いにくい確率分布からのサンプリングにおいて極めて重要な役割を果たします。
しかし、現在の研究には統一された評価枠組みが欠如しており、さまざまなタスクにわたる異種のパフォーマンス測定と限られた方法の比較に依存しているため、進捗状況の評価が複雑になり、実践者の意思決定が妨げられています。
これらの課題に対応するため、私たちの取り組みでは、標準化されたタスク スイートと幅広いパフォーマンス基準を使用してサンプリング方法を評価するベンチマークを導入しました。
さらに、モード崩壊を定量化するための既存の指標を研究し、この目的のための新しい指標を導入します。
私たちの調査結果は、既存のサンプリング方法の長所と短所についての洞察を提供し、将来の開発のための貴重な参考資料として役立ちます。
コードはここで公開されています。

要約(オリジナル)

Monte Carlo methods, Variational Inference, and their combinations play a pivotal role in sampling from intractable probability distributions. However, current studies lack a unified evaluation framework, relying on disparate performance measures and limited method comparisons across diverse tasks, complicating the assessment of progress and hindering the decision-making of practitioners. In response to these challenges, our work introduces a benchmark that evaluates sampling methods using a standardized task suite and a broad range of performance criteria. Moreover, we study existing metrics for quantifying mode collapse and introduce novel metrics for this purpose. Our findings provide insights into strengths and weaknesses of existing sampling methods, serving as a valuable reference for future developments. The code is publicly available here.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google