Turning Waste into Wealth: Leveraging Low-Quality Samples for Enhancing Continuous Conditional Generative Adversarial Networks

要約

連続条件付き敵対的生成ネットワーク (CcGAN) により、連続スカラー変数 (回帰ラベルと呼ばれる) を条件とした生成モデリングが可能になります。
ただし、トレーニング データが限られているため、標準以下の偽画像が生成される可能性があります。
ネガティブ データ拡張 (NDA) は、実際のトレーニング画像に異常を導入し、GAN を低品質の出力から遠ざけることで、無条件およびクラス条件付き GAN を効果的に強化しますが、発生する可能性のあるネガティブ サンプルを複製できないため、CcGAN への影響は限定的です。
CcGAN サンプリング中。
この問題に対処するために、CcGAN 向けに特別に調整された Dual-NDA と呼ばれる新しい NDA アプローチを紹介します。
Dual-NDA では、事前トレーニングされた CcGAN から生成された視覚的に非現実的な画像と、実際の画像のラベルを操作して作成されたラベルの不一致画像の 2 種類のネガティブ サンプルが使用されます。
これらのネガティブ サンプルを活用して、修正された CcGAN トレーニング アルゴリズムとともに新しい識別器目標を導入します。
UTKFace と Steering Angle に関する実証分析により、Dual-NDA が CcGAN によって生成された偽画像の視覚的忠実性とラベルの一貫性を一貫して強化し、バニラ NDA と比較して大幅なパフォーマンス向上を示していることが明らかになりました。
さらに、Dual-NDA を適用することにより、CcGAN は最先端の条件付き GAN や拡散モデルの機能を超える顕著な進歩を示し、新たなパフォーマンスの頂点を確立します。
私たちのコードは https://github.com/UBCDingXin/Dual-NDA で見つけることができます。

要約(オリジナル)

Continuous Conditional Generative Adversarial Networks (CcGANs) enable generative modeling conditional on continuous scalar variables (termed regression labels). However, they can produce subpar fake images due to limited training data. Although Negative Data Augmentation (NDA) effectively enhances unconditional and class-conditional GANs by introducing anomalies into real training images, guiding the GANs away from low-quality outputs, its impact on CcGANs is limited, as it fails to replicate negative samples that may occur during the CcGAN sampling. We present a novel NDA approach called Dual-NDA specifically tailored for CcGANs to address this problem. Dual-NDA employs two types of negative samples: visually unrealistic images generated from a pre-trained CcGAN and label-inconsistent images created by manipulating real images’ labels. Leveraging these negative samples, we introduce a novel discriminator objective alongside a modified CcGAN training algorithm. Empirical analysis on UTKFace and Steering Angle reveals that Dual-NDA consistently enhances the visual fidelity and label consistency of fake images generated by CcGANs, exhibiting a substantial performance gain over the vanilla NDA. Moreover, by applying Dual-NDA, CcGANs demonstrate a remarkable advancement beyond the capabilities of state-of-the-art conditional GANs and diffusion models, establishing a new pinnacle of performance. Our codes can be found at https://github.com/UBCDingXin/Dual-NDA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google