Controlling the Fidelity and Diversity of Deep Generative Models via Pseudo Density

要約

GAN や拡散モデルなどの深い生成モデルにバイアスをかけて、忠実度または多様性を高めたデータを生成するアプローチを紹介します。
私たちのアプローチには、実際のサンプルからの最近傍情報に基づく、擬似密度と呼ばれる個々のサンプルの新しいメトリクスを介してトレーニング データと生成データの分布を操作することが含まれます。
私たちのアプローチは、深い生成モデルの忠実性と多様性を調整するための 3 つの異なる技術を提供します。 1) サンプルごとの摂動により、より一般的な特性またはより独自の特性に向けて個々のサンプルを正確に調整できます。
2) 生成されたデータの忠実性または多様性を高めるために、モデル推論中のサンプリングを重要視します。
3) 重要度サンプリングによる微調整。調整された分布を学習するように生成モデルを導き、忠実度と多様性を制御します。
さらに、私たちの微調整方法は、最小限の反復で事前トレーニングされた生成モデルのフレシェ開始距離 (FID) を改善できることを示しています。

要約(オリジナル)

We introduce an approach to bias deep generative models, such as GANs and diffusion models, towards generating data with either enhanced fidelity or increased diversity. Our approach involves manipulating the distribution of training and generated data through a novel metric for individual samples, named pseudo density, which is based on the nearest-neighbor information from real samples. Our approach offers three distinct techniques to adjust the fidelity and diversity of deep generative models: 1) Per-sample perturbation, enabling precise adjustments for individual samples towards either more common or more unique characteristics; 2) Importance sampling during model inference to enhance either fidelity or diversity in the generated data; 3) Fine-tuning with importance sampling, which guides the generative model to learn an adjusted distribution, thus controlling fidelity and diversity. Furthermore, our fine-tuning method demonstrates the ability to improve the Frechet Inception Distance (FID) for pre-trained generative models with minimal iterations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google