Generalized Kernel Thinning

要約

Dwivedi と Mackey (2021) のカーネル間引き (KT) アルゴリズムは、再現カーネル ヒルベルト空間 (RKHS) をターゲットにし、滑らかさの低い平方根カーネルを利用することにより、独立サンプリングよりも効果的に確率分布を圧縮します。
ここでは 4 つの改善点を紹介します。
まず、KT をターゲット RKHS に直接適用すると、RKHS 内のあらゆるカーネル、あらゆるディストリビューション、およびあらゆる固定関数に対して、より厳密で次元フリーの保証が得られることを示します。
次に、ガウス、逆多二次関数、sinc などの解析カーネルの場合、ターゲット KT は、平方根カーネルを明示的に使用せずに、平方根 KT と同等以上の最大平均不一致 (MMD) 保証を許容することを示します。
第三に、分数べき乗カーネルを使用した KT は、平方根を持たないラプラスやマトリックスのような非滑らかなカーネルに対して、モンテカルロ MMD 保証よりも優れた結果をもたらすことを証明します。
第 4 に、ターゲット カーネルとパワー カーネルの合計に適用される KT (KT+ と呼ぶ手順) が、パワー KT の改善された MMD 保証と、ターゲット KT のより厳密な個別機能保証を同時に継承することを確立します。
ターゲット KT および KT+ を使用した実験では、$100$ 次元でも、困難な事後微分方程式を圧縮する場合でも、積分誤差が大幅に改善されることがわかりました。

要約(オリジナル)

The kernel thinning (KT) algorithm of Dwivedi and Mackey (2021) compresses a probability distribution more effectively than independent sampling by targeting a reproducing kernel Hilbert space (RKHS) and leveraging a less smooth square-root kernel. Here we provide four improvements. First, we show that KT applied directly to the target RKHS yields tighter, dimension-free guarantees for any kernel, any distribution, and any fixed function in the RKHS. Second, we show that, for analytic kernels like Gaussian, inverse multiquadric, and sinc, target KT admits maximum mean discrepancy (MMD) guarantees comparable to or better than those of square-root KT without making explicit use of a square-root kernel. Third, we prove that KT with a fractional power kernel yields better-than-Monte-Carlo MMD guarantees for non-smooth kernels, like Laplace and Mat\’ern, that do not have square-roots. Fourth, we establish that KT applied to a sum of the target and power kernels (a procedure we call KT+) simultaneously inherits the improved MMD guarantees of power KT and the tighter individual function guarantees of target KT. In our experiments with target KT and KT+, we witness significant improvements in integration error even in $100$ dimensions and when compressing challenging differential equation posteriors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google