Approximate Stein Classes for Truncated Density Estimation

要約

切り捨てられた密度モデルの推定は困難です。これらのモデルには扱いにくい正規化定数があり、境界条件を満たすのが難しいためです。
スコア マッチングは、切り捨てられた密度推定問題を解決するために適用できますが、境界でゼロを取り、それ以外の場所では正となる連続的な重み付け関数が必要です。
このような重み関数 (およびその勾配) の評価には、多くの場合、切り捨て境界の閉じた形式の表現と、複雑な最適化問題の解決策を見つけることが必要です。
この論文では、近似スタイン クラスを提案します。これにより、切り捨てられた密度推定のための緩和されたスタイン恒等式が得られます。
我々は、事前に重み付け関数を固定する必要がなく、境界上のサンプルのみを使用して評価できる、新しい不一致尺度である短縮カーネル化スタイン不一致 (TKSD) を開発します。
TKSD のラグランジュ双対を最小化することにより、切り捨てられた密度モデルを推定します。
最後に、実験では、境界の明示的な関数形式がなくても、私たちの方法の精度が以前の研究よりも向上していることが示されています。

要約(オリジナル)

Estimating truncated density models is difficult, as these models have intractable normalising constants and hard to satisfy boundary conditions. Score matching can be adapted to solve the truncated density estimation problem, but requires a continuous weighting function which takes zero at the boundary and is positive elsewhere. Evaluation of such a weighting function (and its gradient) often requires a closed-form expression of the truncation boundary and finding a solution to a complicated optimisation problem. In this paper, we propose approximate Stein classes, which in turn leads to a relaxed Stein identity for truncated density estimation. We develop a novel discrepancy measure, truncated kernelised Stein discrepancy (TKSD), which does not require fixing a weighting function in advance, and can be evaluated using only samples on the boundary. We estimate a truncated density model by minimising the Lagrangian dual of TKSD. Finally, experiments show the accuracy of our method to be an improvement over previous works even without the explicit functional form of the boundary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google