Optimal Budgeted Rejection Sampling for Generative Models

要約

最近、識別器ベースの生成モデルの性能を向上させるために、棄却サンプリング法が提案されている。しかし、これらの手法はサンプリング予算が無制限である場合にのみ最適であり、通常は棄却手続きとは無関係に訓練された生成器に適用される。我々はまず、与えられたサンプリング予算に対して、真の分布と棄却後の分布の間の$f$-発散に関して証明可能な最適予算棄却サンプリング（Optimal Budgeted Rejection Sampling: OBRS）方式を提案する。第二に、モデルの全体的な性能をさらに向上させるために、サンプリングスキームを学習手順に組み込むエンドツーエンドの手法を提案する。実験と理論の裏付けを通して、提案する手法がサンプルの質と多様性を大幅に改善するのに有効であることを示す。

要約(オリジナル)

Rejection sampling methods have recently been proposed to improve the performance of discriminator-based generative models. However, these methods are only optimal under an unlimited sampling budget, and are usually applied to a generator trained independently of the rejection procedure. We first propose an Optimal Budgeted Rejection Sampling (OBRS) scheme that is provably optimal with respect to \textit{any} $f$-divergence between the true distribution and the post-rejection distribution, for a given sampling budget. Second, we propose an end-to-end method that incorporates the sampling scheme into the training procedure to further enhance the model’s overall performance. Through experiments and supporting theory, we show that the proposed methods are effective in significantly improving the quality and diversity of the samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL