LFS-GAN: Lifelong Few-Shot Image Generation

要約

私たちは、一生にわたる数ショットの画像生成という困難なタスクに初めて取り組みました。
この状況では、生成モデルはタスクごとに少数のサンプルのみを使用して一連のタスクを学習します。
その結果、学習されたモデルは、壊滅的な忘却と過剰適合の問題の両方に一度に遭遇します。
生涯にわたる GAN に関する既存の研究では、壊滅的な忘却を防ぐための変調ベースの方法が提案されています。
ただし、かなりの追加パラメータが必要であり、限られたデータから高忠実度で多様な画像を生成することはできません。
一方、既存の少数ショット GAN は、複数のタスクを学習するときに深刻な壊滅的な忘却に悩まされます。
これらの問題を軽減するために、生涯にわたる数ショット画像生成タスクにおいて高品質で多様な画像を生成できるLifelong Few-Shot GAN (LFS-GAN) と呼ばれるフレームワークを提案します。
私たちが提案するフレームワークは、効率的なタスク固有の変調器であるLearnable Factorized Tensor (LeFT) を使用して各タスクを学習します。
LeFT はランク制約があり、独自の再構成手法により豊かな表現力を備えています。
さらに、低データ環境におけるモデルの多様性を向上させるために、損失を求める新しいモードを提案します。
広範な実験により、提案されたLFS-GANがさまざまな領域で忘却やモード崩壊を起こすことなく高忠実度で多様な画像を生成でき、生涯にわたる数ショット画像生成タスクにおいて最先端の技術を達成できることが実証されました。
驚くべきことに、私たちの LFS-GAN は、少数ショット画像生成タスクにおいて、既存の少数ショット GAN よりも優れていることがわかりました。
コードはGithubで入手できます。

要約(オリジナル)

We address a challenging lifelong few-shot image generation task for the first time. In this situation, a generative model learns a sequence of tasks using only a few samples per task. Consequently, the learned model encounters both catastrophic forgetting and overfitting problems at a time. Existing studies on lifelong GANs have proposed modulation-based methods to prevent catastrophic forgetting. However, they require considerable additional parameters and cannot generate high-fidelity and diverse images from limited data. On the other hand, the existing few-shot GANs suffer from severe catastrophic forgetting when learning multiple tasks. To alleviate these issues, we propose a framework called Lifelong Few-Shot GAN (LFS-GAN) that can generate high-quality and diverse images in lifelong few-shot image generation task. Our proposed framework learns each task using an efficient task-specific modulator – Learnable Factorized Tensor (LeFT). LeFT is rank-constrained and has a rich representation ability due to its unique reconstruction technique. Furthermore, we propose a novel mode seeking loss to improve the diversity of our model in low-data circumstances. Extensive experiments demonstrate that the proposed LFS-GAN can generate high-fidelity and diverse images without any forgetting and mode collapse in various domains, achieving state-of-the-art in lifelong few-shot image generation task. Surprisingly, we find that our LFS-GAN even outperforms the existing few-shot GANs in the few-shot image generation task. The code is available at Github.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google