FreGAN: Exploiting Frequency Components for Training GANs under Limited Data

要約

限られたデータで GAN をトレーニングすると、多くの場合、弁別器の過剰適合と記憶の問題が発生し、発散トレーニングが発生します。
既存のアプローチでは、データ拡張、モデルの正則化、または注意メカニズムを採用することで、オーバーフィッティングを軽減しています。
ただし、GAN の周波数バイアスを無視し、周波数情報、特に豊富な詳細を含む高周波信号について十分に考慮していません。
限られたデータの周波数情報を十分に活用するために、この論文では、モデルの周波数認識を高め、高周波信号の生成により注意を向け、高品質の生成を容易にする FreGAN を提案します。
実画像と生成画像の両方の周波数情報を活用することに加えて、実画像の周波数信号を自己教師あり制約として使用します。これにより、GAN の不均衡が緩和され、ジェネレーターが任意の周波数信号ではなく適切な周波数信号を合成するようになります。
広範な結果は、低データ領域 (特にトレーニング データが 100 未満の場合) での生成品質の改善における FreGAN の優位性と有効性を示しています。
さらに、FreGAN は既存の正則化および注意メカニズム モデルにシームレスに適用して、パフォーマンスをさらに向上させることができます。

要約(オリジナル)

Training GANs under limited data often leads to discriminator overfitting and memorization issues, causing divergent training. Existing approaches mitigate the overfitting by employing data augmentations, model regularization, or attention mechanisms. However, they ignore the frequency bias of GANs and take poor consideration towards frequency information, especially high-frequency signals that contain rich details. To fully utilize the frequency information of limited data, this paper proposes FreGAN, which raises the model’s frequency awareness and draws more attention to producing high-frequency signals, facilitating high-quality generation. In addition to exploiting both real and generated images’ frequency information, we also involve the frequency signals of real images as a self-supervised constraint, which alleviates the GAN disequilibrium and encourages the generator to synthesize adequate rather than arbitrary frequency signals. Extensive results demonstrate the superiority and effectiveness of our FreGAN in ameliorating generation quality in the low-data regime (especially when training data is less than 100). Besides, FreGAN can be seamlessly applied to existing regularization and attention mechanism models to further boost the performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google