Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection

要約

タイトル：ベイズ変数選択のための可変複雑度重み付きテンパード・ギブス・サンプラー

要約：
– Jankowiakによって最近導入されたSubset weighted-Tempered Gibbs Sampler（wTGS）は、事後選択確率（PIP）の正確な計算が必要ではない高次元のアプリケーションにおいて、MCMCイテレーションあたりの計算複雑性を削減するために使用されます。
– ただし、このサンプラーに関連するRao-Backwellized推定器の分散は、シグナル次元と条件付きPIP推定回数の比が大きいため、高い分散を示す可能性があります。
– 本論文では、MCMCイテレーションあたりの条件付きPIP計算回数の期待値がシグナル次元よりもずっと小さくなる新しいSubset weighted-Tempered Gibbs Sampler（wTGS）を設計します。
– 既存のSubset wTGSとwTGSとは異なり、このサンプラーはMCMCイテレーションあたりの可変複雑度を持ちます。
– 複数回のイテレーションを行うことで、関連するRao-Blackwellized推定器の分散に上限を設け、$T$回数の有限イテレーションの場合、分散が$O\big(\big(\frac{P}{S}\big)^2 \frac{\log T}{T}\big)$であることを示しました。ここで、$S$はMCMCイテレーションあたりの条件付きPIP計算回数の期待値です。
– 実験では、本論文のRao-Blackwellized推定器は、Subset wTGSに関連する推定器よりも分散が小さいことを示しました。

要約(オリジナル)

Subset weighted-Tempered Gibbs Sampler (wTGS) has been recently introduced by Jankowiak to reduce the computation complexity per MCMC iteration in high-dimensional applications where the exact calculation of the posterior inclusion probabilities (PIP) is not essential. However, the Rao-Backwellized estimator associated with this sampler has a high variance as the ratio between the signal dimension and the number of conditional PIP estimations is large. In this paper, we design a new subset weighted-Tempered Gibbs Sampler (wTGS) where the expected number of computations of conditional PIPs per MCMC iteration can be much smaller than the signal dimension. Different from the subset wTGS and wTGS, our sampler has a variable complexity per MCMC iteration. We provide an upper bound on the variance of an associated Rao-Blackwellized estimator for this sampler at a finite number of iterations, $T$, and show that the variance is $O\big(\big(\frac{P}{S}\big)^2 \frac{\log T}{T}\big)$ for a given dataset where $S$ is the expected number of conditional PIP computations per MCMC iteration. Experiments show that our Rao-Blackwellized estimator can have a smaller variance than its counterpart associated with the subset wTGS.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI