U-Statistics for Importance-Weighted Variational Inference

要約

重要度加重変分推論における勾配推定の分散を減らすために、U 統計量を使用することを提案します。
重要な観察結果は、$m > 1$ サンプルと合計 $n > m$ サンプルを推定に使用する必要がある基本勾配推定量が与えられた場合、サイズ $ の重複するバッチで基本推定量を平均化することによって、より低い分散が達成されることです。
現在行われているように、ばらばらのバッチよりも m$。
古典的な U 統計理論を使用して分散の削減を分析し、計算効率を確保するための理論的な保証を備えた新しい近似を提案します。
経験的に、U 統計量の分散の削減は、計算コストをほとんどかけずに、さまざまなモデルでの推論パフォーマンスを適度に大幅に改善できることを発見しました。

要約(オリジナル)

We propose the use of U-statistics to reduce variance for gradient estimation in importance-weighted variational inference. The key observation is that, given a base gradient estimator that requires $m > 1$ samples and a total of $n > m$ samples to be used for estimation, lower variance is achieved by averaging the base estimator on overlapping batches of size $m$ than disjoint batches, as currently done. We use classical U-statistic theory to analyze the variance reduction, and propose novel approximations with theoretical guarantees to ensure computational efficiency. We find empirically that U-statistic variance reduction can lead to modest to significant improvements in inference performance on a range of models, with little computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google