eTag: Class-Incremental Learning with Embedding Distillation and Task-Oriented Generation

要約

タイトル: eTag：埋め込み蒸留とタスク指向生成を用いたクラス増分学習

要約:
– クラス増分学習（CIL）は、ニューラルネットワークの過剰学習問題を解決することを目的としており、これはネットワークが新しいタスクで更新されると、以前に学習したタスクの性能が劇的に低下するという事実を指します。
– 多くのCIL手法が、保存された標本の支援を得て特徴抽出器を増分的にトレーニングし、または保存されたプロトタイプで特徴分布を推定しますが、保存された標本はデータプライバシーの問題を引き起こす可能性がありますし、保存されたプロトタイプは適切な特徴分布に合致しない可能性があり、現実世界のCILアプリケーションの探索を妨げることがあります。
– この論文では、埋め込みの蒸留とタスク指向の生成（eTag）の方法を提案しています。これにより、CILにおいて標本またはプロトタイプのどちらも必要ありません。代わりに、eTagはニューラルネットワークをデータフリーで増分的にトレーニングすることができます。特徴抽出器を忘れないようにするために、eTagはネットワークの中間ブロックの埋め込みを蒸留します。さらに、eTagは生成ネットワークを可能にし、トップの増分分類器のニーズに合った適切な特徴を生成することができます。
– 実験結果は、提案されたeTagがCIFAR-100およびImageNet-subにおいて、他の最先端の手法よりも優れた性能を発揮したことを確認しています。（著者の提供するコードは補足資料で入手可能です。）

要約(オリジナル)

Class-Incremental Learning (CIL) aims to solve the neural networks’ catastrophic forgetting problem, which refers to the fact that once the network updates on a new task, its performance on previously-learned tasks drops dramatically. Most successful CIL methods incrementally train a feature extractor with the aid of stored exemplars, or estimate the feature distribution with the stored prototypes. However, the stored exemplars would violate the data privacy concerns, while the stored prototypes might not reasonably be consistent with a proper feature distribution, hindering the exploration of real-world CIL applications. In this paper, we propose a method of \textit{e}mbedding distillation and \textit{Ta}sk-oriented \textit{g}eneration (\textit{eTag}) for CIL, which requires neither the exemplar nor the prototype. Instead, eTag achieves a data-free manner to train the neural networks incrementally. To prevent the feature extractor from forgetting, eTag distills the embeddings of the network’s intermediate blocks. Additionally, eTag enables a generative network to produce suitable features, fitting the needs of the top incremental classifier. Experimental results confirmed that our proposed eTag considerably outperforms the state-of-the-art methods on CIFAR-100 and ImageNet-sub\footnote{Our code is available in the Supplementary Materials.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI