要約
ディープモデル、例えばCNNやVision Transformerは、閉じた世界における多くの視覚タスクにおいて印象的な成果を上げてきた。しかし、刻々と変化する世界では、新しいクラスが随時出現するため、学習システムは継続的に新しい知識を獲得する必要がある。例えば、ロボットは新しい命令を理解する必要があり、意見監視システムは新しい話題を日々分析する必要がある。クラス増加学習(CIL)は、学習者が新しいクラスの知識を段階的に取り込み、見たことのある全てのクラスの中から普遍的な分類器を構築することを可能にする。しかし、新しいクラスを直接学習させると、以前のクラスの特徴を忘れてしまい、性能が著しく低下するという致命的な問題が生じる。機械学習の分野では、これまでにも致命的な忘却に対処するための様々な取り組みがなされてきた。本論文では、深層クラス増分学習における最近の研究成果を概観し、データ中心、モデル中心、アルゴリズム中心の3つの側面からこれらの手法をまとめる。また、ベンチマーク画像分類タスクにおける16手法の厳密かつ統一的な評価を行い、異なるアルゴリズムの特徴を経験的に見いだす。さらに、現在の比較プロトコルは、モデルストレージのメモリバジェットの影響を無視しており、不公平な比較や偏った結果になる可能性があることに気づく。そこで、我々は、メモリバジェットを評価項目に加え、メモリに依存しない性能指標をいくつか用意し、公正な比較を提唱している。これらの評価を再現するためのソースコードは、https://github.com/zhoudw-zdw/CIL_Survey/ で公開されています。
要約(オリジナル)
Deep models, e.g., CNNs and Vision Transformers, have achieved impressive achievements in many vision tasks in the closed world. However, novel classes emerge from time to time in our ever-changing world, requiring a learning system to acquire new knowledge continually. For example, a robot needs to understand new instructions, and an opinion monitoring system should analyze emerging topics every day. Class-Incremental Learning (CIL) enables the learner to incorporate the knowledge of new classes incrementally and build a universal classifier among all seen classes. Correspondingly, when directly training the model with new class instances, a fatal problem occurs — the model tends to catastrophically forget the characteristics of former ones, and its performance drastically degrades. There have been numerous efforts to tackle catastrophic forgetting in the machine learning community. In this paper, we survey comprehensively recent advances in deep class-incremental learning and summarize these methods from three aspects, i.e., data-centric, model-centric, and algorithm-centric. We also provide a rigorous and unified evaluation of 16 methods in benchmark image classification tasks to find out the characteristics of different algorithms empirically. Furthermore, we notice that the current comparison protocol ignores the influence of memory budget in model storage, which may result in unfair comparison and biased results. Hence, we advocate fair comparison by aligning the memory budget in evaluation, as well as several memory-agnostic performance measures. The source code to reproduce these evaluations is available at https://github.com/zhoudw-zdw/CIL_Survey/
arxiv情報
| 著者 | Da-Wei Zhou,Qi-Wei Wang,Zhi-Hong Qi,Han-Jia Ye,De-Chuan Zhan,Ziwei Liu |
| 発行日 | 2023-02-07 17:59:05+00:00 |
| arxivサイト | arxiv_id(pdf) |