WaveGAN: Frequency-aware GAN for High-Fidelity Few-shot Image Generation

要約

既存の少数ショット画像生成手法は、画像レベルまたは特徴量レベルでの融合に基づく戦略を用いて、新しい画像を生成するのが一般的である。しかし、従来の手法では、高周波信号を細かく合成することに苦労し、合成品質が劣化してしまう。そこで、本論文では、周波数を考慮した少数ショット画像生成のためのモデルWaveGANを提案する。具体的には、符号化された特徴を複数の周波数成分に分解し、低周波のスキップ接続を行うことで輪郭や構造情報を保持する。次に、高周波スキップ接続を行うことで、生成器の苦手とする細かいディテールの合成を緩和し、生成器に有益な周波数情報を提供します。さらに、生成された画像と実画像に周波数L1-lossを適用することで、周波数情報の喪失をさらに抑制します。本手法の有効性と先進性は、3つのデータセットで広範な実験により実証されている。特に、Flower, Animal Faces, VGGFaceにおいて、それぞれFID 42.17, LPIPS 0.3868, FID 30.35, LPIPS 0.5076, FID 4.96, LPIPS 0.3822 という新しい最先端を達成した。GitHub: https://github.com/kobeshegu/ECCV2022_WaveGAN

要約(オリジナル)

Existing few-shot image generation approaches typically employ fusion-based strategies, either on the image or the feature level, to produce new images. However, previous approaches struggle to synthesize high-frequency signals with fine details, deteriorating the synthesis quality. To address this, we propose WaveGAN, a frequency-aware model for few-shot image generation. Concretely, we disentangle encoded features into multiple frequency components and perform low-frequency skip connections to preserve outline and structural information. Then we alleviate the generator’s struggles of synthesizing fine details by employing high-frequency skip connections, thus providing informative frequency information to the generator. Moreover, we utilize a frequency L1-loss on the generated and real images to further impede frequency information loss. Extensive experiments demonstrate the effectiveness and advancement of our method on three datasets. Noticeably, we achieve new state-of-the-art with FID 42.17, LPIPS 0.3868, FID 30.35, LPIPS 0.5076, and FID 4.96, LPIPS 0.3822 respectively on Flower, Animal Faces, and VGGFace. GitHub: https://github.com/kobeshegu/ECCV2022_WaveGAN

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL