Class-incremental learning: survey and performance evaluation on image classification

要約

将来の学習システムでは、次のことが可能になるため、増分学習が望ましいです。
保存する必要があるデータの量を防止または制限することにより、メモリ使用量を削減します。これは、プライバシーの制限が課されている場合にも重要です。
人間の学習により近い学習。
漸進的学習の主な課題は壊滅的な忘却です。これは、新しいタスクを学習した後、以前に学習したタスクのパフォーマンスが急激に低下することを指します。
ディープ ニューラル ネットワークの増分学習は、近年爆発的な成長を遂げています。
最初の作業は、推論時にタスク ID が提供されるタスクの増分学習に焦点を当てていました。
最近、学習者がタスク ID に頼ることなく、以前のタスクで見られたすべてのクラスを推論時に識別しなければならないクラス増分学習への移行を見てきました。
この論文では、画像分類のための既存のクラス増分学習方法の完全な調査を提供し、特に、13 のクラス増分方法について広範な実験的評価を行います。
複数の大規模な画像分類データセットでのクラス増分法の比較、小規模および大規模なドメイン シフトの調査、さまざまなネットワーク アーキテクチャの比較など、いくつかの新しい実験シナリオを検討します。

要約(オリジナル)

For future learning systems, incremental learning is desirable because it allows for: efficient resource usage by eliminating the need to retrain from scratch at the arrival of new data; reduced memory usage by preventing or limiting the amount of data required to be stored — also important when privacy limitations are imposed; and learning that more closely resembles human learning. The main challenge for incremental learning is catastrophic forgetting, which refers to the precipitous drop in performance on previously learned tasks after learning a new one. Incremental learning of deep neural networks has seen explosive growth in recent years. Initial work focused on task-incremental learning, where a task-ID is provided at inference time. Recently, we have seen a shift towards class-incremental learning where the learner must discriminate at inference time between all classes seen in previous tasks without recourse to a task-ID. In this paper, we provide a complete survey of existing class-incremental learning methods for image classification, and in particular, we perform an extensive experimental evaluation on thirteen class-incremental methods. We consider several new experimental scenarios, including a comparison of class-incremental methods on multiple large-scale image classification datasets, an investigation into small and large domain shifts, and a comparison of various network architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google