Efficient Informed Proposals for Discrete Distributions via Newton’s Series Approximation

要約

勾配は、離散分布でのマルコフ連鎖モンテカルロ アルゴリズムの収束を加速するために、提案分布で利用されています。
ただし、これらの方法には、ターゲット離散分布の自然な微分可能な拡張が必要であり、多くの場合、存在しないか、効果的な勾配ガイダンスを提供しません。
この論文では、この強い要件なしで、任意の離散分布に対する勾配のような提案を開発します。
局所的にバランスの取れた提案に基づいて構築されたこの方法は、ニュートンの級数展開を介して離散尤度比を効率的に近似し、離散空間での大規模で効率的な探索を可能にします。
私たちのメソッドは多重線形拡張と見なすこともできるため、必要なプロパティを継承できることを示します。
私たちの方法は、Metropolis-Hastings ステップの有無にかかわらず、収束率が保証されていることを証明します。
さらに、私たちの方法は、施設の場所の問題、抽出テキストの要約、画像検索など、いくつかの異なる実験で多くの一般的な代替方法よりも優れています。

要約(オリジナル)

Gradients have been exploited in proposal distributions to accelerate the convergence of Markov chain Monte Carlo algorithms on discrete distributions. However, these methods require a natural differentiable extension of the target discrete distribution, which often does not exist or does not provide effective gradient guidance. In this paper, we develop a gradient-like proposal for any discrete distribution without this strong requirement. Built upon a locally-balanced proposal, our method efficiently approximates the discrete likelihood ratio via Newton’s series expansion to enable a large and efficient exploration in discrete spaces. We show that our method can also be viewed as a multilinear extension, thus inheriting its desired properties. We prove that our method has a guaranteed convergence rate with or without the Metropolis-Hastings step. Furthermore, our method outperforms a number of popular alternatives in several different experiments, including the facility location problem, extractive text summarization, and image retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google