Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay

要約

ディープラーニングシステムが限られたデータで新しいクラスを段階的に学習できるようにすることを目的とした、少数ショットのクラス増分学習（FSCIL）が提案されています。
最近、先駆者は、クラスインクリメンタル学習（CIL）で一般的に使用されるリプレイベースの方法は効果がなく、したがってFSCILには好ましくないと主張しています。
これは、真実であれば、FSCILの分野に大きな影響を及ぼします。
この論文では、経験的結果を通じて、データ再生を採用することが驚くほど有利であることを示しています。
ただし、古いデータを保存して再生すると、プライバシーの問題が発生する可能性があります。
この問題に対処するために、代わりに、実際のデータにアクセスせずにジェネレーターによってデータを合成できるデータフリー再生を使用することを提案します。
知識蒸留のための不確実なデータの有効性を観察する際に、より不確実な例を奨励するために、ジェネレータートレーニングにエントロピー正則化を課します。
さらに、生成されたデータをワンホットのようなラベルで再ラベル付けすることを提案します。
この変更により、ネットワークはクロスエントロピー損失を最小限に抑えるだけで学習できるようになります。これにより、従来の知識蒸留アプローチにおけるさまざまな目的のバランスを取る問題が軽減されます。
最後に、CIFAR-100、miniImageNet、CUB-200に関する広範な実験結果と分析を示し、提案されたものの有効性を示します。

要約(オリジナル)

Few-shot class-incremental learning (FSCIL) has been proposed aiming to enable a deep learning system to incrementally learn new classes with limited data. Recently, a pioneer claims that the commonly used replay-based method in class-incremental learning (CIL) is ineffective and thus not preferred for FSCIL. This has, if truth, a significant influence on the fields of FSCIL. In this paper, we show through empirical results that adopting the data replay is surprisingly favorable. However, storing and replaying old data can lead to a privacy concern. To address this issue, we alternatively propose using data-free replay that can synthesize data by a generator without accessing real data. In observing the the effectiveness of uncertain data for knowledge distillation, we impose entropy regularization in the generator training to encourage more uncertain examples. Moreover, we propose to relabel the generated data with one-hot-like labels. This modification allows the network to learn by solely minimizing the cross-entropy loss, which mitigates the problem of balancing different objectives in the conventional knowledge distillation approach. Finally, we show extensive experimental results and analysis on CIFAR-100, miniImageNet and CUB-200 to demonstrate the effectiveness of our proposed one.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google