Debiased Distribution Compression

要約

最新の圧縮方法は、ターゲット分布 $\mathbb{P}$ を i.i.d よりも簡潔に要約できます。
サンプリングですが、$\mathbb{P}$ に素早く収束するマルコフ連鎖のような低バイアス入力シーケンスへのアクセスが必要です。
バイアスされた入力シーケンスでの圧縮に適した新しい一連の圧縮方法を導入します。
間違った分布と二次時間をターゲットとする $n$ 点が与えられた場合、スタイン カーネル シニング (SKT) は、最大 $\widetilde{O}(n^{-1/2})$ の等しい重み付けの $\sqrt{n}$ 点を返します。
平均不一致 (MMD) を $\mathbb {P}$ に計算します。
大規模な圧縮タスクの場合、低ランク SKT は、独立して重要な適応性のある低ランク バイアス除去手順を使用して、準 2 次時間で同じ偉業を達成します。
シンプレックス重みまたは定数保持重みをサポートするダウンストリーム タスクの場合、Stein Recombination と Stein Cholesky はさらに大幅な節約を達成し、わずか $\operatorname{poly-log}(n)$ の重み付けポイントで SKT の保証に匹敵します。
これらの進歩の根底にあるのは、シンプレックス加重コアセットの品質、カーネル行列のスペクトル減衰、およびシュタイン カーネル ヒルベルト空間のカバー数に対する新たな保証です。
私たちの実験では、私たちの技術は、バーンイン、近似マルコフ連鎖モンテカルロ、およびテンパリングによるバイアスを克服しながら、簡潔で正確な事後サマリーを提供します。

要約(オリジナル)

Modern compression methods can summarize a target distribution $\mathbb{P}$ more succinctly than i.i.d. sampling but require access to a low-bias input sequence like a Markov chain converging quickly to $\mathbb{P}$. We introduce a new suite of compression methods suitable for compression with biased input sequences. Given $n$ points targeting the wrong distribution and quadratic time, Stein Kernel Thinning (SKT) returns $\sqrt{n}$ equal-weighted points with $\widetilde{O}(n^{-1/2})$ maximum mean discrepancy (MMD) to $\mathbb {P}$. For larger-scale compression tasks, Low-rank SKT achieves the same feat in sub-quadratic time using an adaptive low-rank debiasing procedure that may be of independent interest. For downstream tasks that support simplex or constant-preserving weights, Stein Recombination and Stein Cholesky achieve even greater parsimony, matching the guarantees of SKT with as few as $\operatorname{poly-log}(n)$ weighted points. Underlying these advances are new guarantees for the quality of simplex-weighted coresets, the spectral decay of kernel matrices, and the covering numbers of Stein kernel Hilbert spaces. In our experiments, our techniques provide succinct and accurate posterior summaries while overcoming biases due to burn-in, approximate Markov chain Monte Carlo, and tempering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google