Generative Feature-driven Image Replay for Continual Learning

要約

ニューラルネットワークは、異なるタスクに対して漸増的に学習させた場合、壊滅的な忘却を起こす傾向がある。一般的な漸増学習法は、以前に見たサンプルのサブセットを保持し、後続のタスクの学習中にそれらを再生することによって、このような忘却を緩和している。しかし、これはデータ保護規制などの理由で常に可能とは限らない。このような制限のあるシナリオでは、人工画像や隠れた特徴を分類器に再生させる生成モデルを採用することができる。本論文では、Genifer (GENeratIve FEature-driven image Replay) を提案する。この手法では、生成モデルを学習させ、実際のサンプルと同じ隠れ特徴を誘発する必要がある画像を、分類器を通して再生させる。すなわち、（1）従来の画像再生とは異なり、我々の生成モデルは分類に関連する特徴の分布を明示的に学習する、（2）特徴再生とは異なり、我々の分類器全体が学習可能である、（3）画像空間補強を利用できる、これにより蒸留性能が向上し、生成モデルの学習中のオーバーフィッティングも緩和される、などの利点を持っている。我々は、CIFAR-100とCUB-200データセットにおいて、Geniferが様々な設定において、従来の技術水準よりも大幅に優れていることを示す。

要約(オリジナル)

Neural networks are prone to catastrophic forgetting when trained incrementally on different tasks. Popular incremental learning methods mitigate such forgetting by retaining a subset of previously seen samples and replaying them during the training on subsequent tasks. However, this is not always possible, e.g., due to data protection regulations. In such restricted scenarios, one can employ generative models to replay either artificial images or hidden features to a classifier. In this work, we propose Genifer (GENeratIve FEature-driven image Replay), where a generative model is trained to replay images that must induce the same hidden features as real samples when they are passed through the classifier. Our technique therefore incorporates the benefits of both image and feature replay, i.e.: (1) unlike conventional image replay, our generative model explicitly learns the distribution of features that are relevant for classification; (2) in contrast to feature replay, our entire classifier remains trainable; and (3) we can leverage image-space augmentations, which increase distillation performance while also mitigating overfitting during the training of the generative model. We show that Genifer substantially outperforms the previous state of the art for various settings on the CIFAR-100 and CUB-200 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL