Class-Incremental Learning using Diffusion Model for Distillation and Replay

要約

クラス増分学習は、以前に学習したクラスを忘れることなく、新しいクラスを漸進的に学習することを目的としています。
いくつかの研究成果は、追加データを増分モデルで使用して壊滅的な忘却を軽減する方法を示しています。
この研究では、テキストから画像への生成モデルとその広範な配布における最近の進歩を受けて、クラス増分学習のための追加データのソースとして、事前トレーニングされた安定拡散モデルの使用を提案します。
実際の画像の外部の、ラベルのないデータセットに依存する競合手法と比較して、私たちのアプローチは、以前に遭遇した画像と同じクラスに属する合成サンプルを生成できます。
これにより、これらの追加データ サンプルを蒸留損失だけでなく分類損失の再生にも使用できるようになります。
競合ベンチマーク CIFAR100、ImageNet-Subset、および ImageNet での実験は、この新しいアプローチを使用して、大規模なデータセットでのクラス増分学習の最先端の手法のパフォーマンスをさらに向上させる方法を示しています。

要約(オリジナル)

Class-incremental learning aims to learn new classes in an incremental fashion without forgetting the previously learned ones. Several research works have shown how additional data can be used by incremental models to help mitigate catastrophic forgetting. In this work, following the recent breakthrough in text-to-image generative models and their wide distribution, we propose the use of a pretrained Stable Diffusion model as a source of additional data for class-incremental learning. Compared to competitive methods that rely on external, often unlabeled, datasets of real images, our approach can generate synthetic samples belonging to the same classes as the previously encountered images. This allows us to use those additional data samples not only in the distillation loss but also for replay in the classification loss. Experiments on the competitive benchmarks CIFAR100, ImageNet-Subset, and ImageNet demonstrate how this new approach can be used to further improve the performance of state-of-the-art methods for class-incremental learning on large scale datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google