Differentiable Annealed Importance Sampling Minimizes The Jensen-Shannon Divergence Between Initial and Target Distribution

要約

Geffner & Domke (2021) および Zhang et al. によって提案された微分可能アニーリング重要度サンプリング (DAIS)。
(2021) により、特に AIS の初期分布の最適化が可能になります。
この論文では、多くの遷移の限界において、DAIS が初期分布とターゲット分布の間の対称化された KL 発散 (Jensen-Shannon 発散) を最小限に抑えることを示します。
したがって、DAIS は、その初期分布が扱いにくいターゲット分布にパラメトリックに適合するという点で、変分推論 (VI) の一種とみなすことができます。
私たちは、初期分布が合成データと現実世界のデータの変分分布として有用であることを経験的に評価し、多くの場合、標準 VI (逆 KL 発散の最適化)、重要度加重 VI、およびマルコフ スコア クライミングよりも正確な不確実性推定を提供することを観察しました。
順方向 KL 発散の最適化)。

要約(オリジナル)

Differentiable annealed importance sampling (DAIS), proposed by Geffner & Domke (2021) and Zhang et al. (2021), allows optimizing, among others, over the initial distribution of AIS. In this paper, we show that, in the limit of many transitions, DAIS minimizes the symmetrized KL divergence (Jensen-Shannon divergence) between the initial and target distribution. Thus, DAIS can be seen as a form of variational inference (VI) in that its initial distribution is a parametric fit to an intractable target distribution. We empirically evaluate the usefulness of the initial distribution as a variational distribution on synthetic and real-world data, observing that it often provides more accurate uncertainty estimates than standard VI (optimizing the reverse KL divergence), importance weighted VI, and Markovian score climbing (optimizing the forward KL divergence).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google