Diverse Rare Sample Generation with Pretrained GANs

要約

深層生成モデルは現実的なデータの生成には優れていますが、トレーニング データセットの不足とモード崩壊の問題により、低密度領域で希少なサンプルを生成するのに苦労します。
最近の方法は、生成されたサンプルの忠実度を向上させることを目的としていますが、まれなサンプルや新しいサンプルを無視することで、多様性とカバレッジを低下させることがよくあります。
この研究は、事前学習された GAN を使用して高解像度の画像データセットから多様な希少サンプルを生成するための新しいアプローチを提案します。
私たちの方法は、多目的フレームワーク内で潜在ベクトルの勾配ベースの最適化を採用し、特徴空間上の密度推定に正規化フローを利用します。
これにより、希少性、多様性、参照画像との類似性などの制御可能なパラメータを使用して、多様な希少画像を生成できます。
私たちは、事前トレーニングされた GAN を再トレーニングしたり微調整したりすることなく、さまざまなデータセットと GAN にわたって、定性的および定量的なアプローチの有効性を実証します。

要約(オリジナル)

Deep generative models are proficient in generating realistic data but struggle with producing rare samples in low density regions due to their scarcity of training datasets and the mode collapse problem. While recent methods aim to improve the fidelity of generated samples, they often reduce diversity and coverage by ignoring rare and novel samples. This study proposes a novel approach for generating diverse rare samples from high-resolution image datasets with pretrained GANs. Our method employs gradient-based optimization of latent vectors within a multi-objective framework and utilizes normalizing flows for density estimation on the feature space. This enables the generation of diverse rare images, with controllable parameters for rarity, diversity, and similarity to a reference image. We demonstrate the effectiveness of our approach both qualitatively and quantitatively across various datasets and GANs without retraining or fine-tuning the pretrained GANs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google