Quasi-Arithmetic Mixtures, Divergence Minimization, and Bregman Information

要約

複雑な分布からサンプリングして正規化定数を推定するためのマルコフ連鎖モンテカルロ法では、多くの場合、アニーリング パスに沿って一連の中間分布からサンプルをシミュレートし、扱いやすい初期分布と目的のターゲット密度の間を橋渡しします。
これまでの研究では、準算術的手段を使用してアニーリング パスを構築し、その結果得られる中間密度を終点への予想される発散を最小限に抑えるものとして解釈していました。
密度関数の単調埋め込みのもとでブレグマン発散を使用して、この「重心」特性の包括的な分析を提供します。これにより、Amari と Renyi の ${\alpha}$-divergences、${(\alpha,\beta) などの一般的な発散を関連付けます。
}$-ダイバージェンス、およびアニーリング パスに沿った中間密度のジェンセン-シャノンダイバージェンス。
私たちの分析は、Zhang 2004,2013 の rho-tau Bregman 発散フレームワークを使用して、パラメトリック ファミリ、準算術平均、発散関数の間の相互作用を強調しています。

要約(オリジナル)

Markov Chain Monte Carlo methods for sampling from complex distributions and estimating normalization constants often simulate samples from a sequence of intermediate distributions along an annealing path, which bridges between a tractable initial distribution and a target density of interest. Prior work has constructed annealing paths using quasi-arithmetic means, and interpreted the resulting intermediate densities as minimizing an expected divergence to the endpoints. We provide a comprehensive analysis of this ‘centroid’ property using Bregman divergences under a monotonic embedding of the density function, thereby associating common divergences such as Amari’s and Renyi’s ${\alpha}$-divergences, ${(\alpha,\beta)}$-divergences, and the Jensen-Shannon divergence with intermediate densities along an annealing path. Our analysis highlights the interplay between parametric families, quasi-arithmetic means, and divergence functions using the rho-tau Bregman divergence framework of Zhang 2004,2013.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google