The Polynomial Stein Discrepancy for Assessing Moment Convergence

要約

我々は、ベイズ推論のための一連のサンプルと望ましい事後分布との間の不一致を測定するための新しい方法を提案します。
有効サンプル サイズなどのサンプルの品質を評価するための古典的な方法は、漸近的にバイアスがかかる確率的勾配ランジュバン ダイナミクスなどのスケーラブルなベイジアン サンプリング アルゴリズムには適していません。
代わりに、ゴールド スタンダードはカーネル スタイン ディスクレパンシー (KSD) を使用することですが、サンプル数の二次コストを考慮すると、それ自体はスケーラブルではありません。
KSD とその高速拡張機能も通常、次元の呪いに悩まされており、大規模なチューニングが必要になる場合があります。
これらの制限に対処するために、多項式スタイン不一致 (PSD) と関連する適合度検定を開発しました。
新しいテストは完全に収束を決定するものではありませんが、バーンスタイン・フォン・ミーゼス極限の最初の r モーメントの差異を検出できることを証明します。
私たちは、いくつかの例で、このテストが競合他社よりも高い検出力を持ち、より低い計算コストで実行できることを経験的に示しています。
最後に、PSD が競合他社よりも効率的にベイジアン サンプリング アルゴリズムのハイパーパラメータを選択できるように支援できることを示します。

要約(オリジナル)

We propose a novel method for measuring the discrepancy between a set of samples and a desired posterior distribution for Bayesian inference. Classical methods for assessing sample quality like the effective sample size are not appropriate for scalable Bayesian sampling algorithms, such as stochastic gradient Langevin dynamics, that are asymptotically biased. Instead, the gold standard is to use the kernel Stein Discrepancy (KSD), which is itself not scalable given its quadratic cost in the number of samples. The KSD and its faster extensions also typically suffer from the curse-of-dimensionality and can require extensive tuning. To address these limitations, we develop the polynomial Stein discrepancy (PSD) and an associated goodness-of-fit test. While the new test is not fully convergence-determining, we prove that it detects differences in the first r moments in the Bernstein-von Mises limit. We empirically show that the test has higher power than its competitors in several examples, and at a lower computational cost. Finally, we demonstrate that the PSD can assist practitioners to select hyper-parameters of Bayesian sampling algorithms more efficiently than competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google