SRIL: Selective Regularization for Class-Incremental Learning

要約

タイトル：SRIL：クラス増加学習のための選択的正則化

要約：

– 現在の深層学習モデルは、新しい情報を取得するときに以前の知識を忘れる「カタストロフィック・フォーゲッティング現象」に苦しんでいる。
– クラス増加学習は、この問題に対処するためにプラスチシティと安定性をバランスさせた統合的なモデルを作成することを目的としている。
– この論文では、以前の知識を維持しながら新しい知識を受け入れる選択的正則化手法を提案している。
– 認知科学に着想を得た旧クラスと新クラスの非対称的な特徴蒸留手法を紹介し、分類と知識蒸留の損失の勾配を使用して、パターンの完成かパターンの分離を実行するかどうかを決定する。
– 安定性とプラスチシティのバランスのために、以前のモデルの重みを選択的に補間する方法を提案し、前のクラスのパフォーマンスを確保し、探求的学習を可能にするためにモデル信頼を通じて転送する可能性を調整する方法も提案する。
– CIFAR-100、ImageNet-Subset、ImageNet-Fullを使用した広範な実験プロトコルにより、提案手法の効果を検証し、既存の手法のパフォーマンスを上回ったことを示している。

要約(オリジナル)

Human intelligence gradually accepts new information and accumulates knowledge throughout the lifespan. However, deep learning models suffer from a catastrophic forgetting phenomenon, where they forget previous knowledge when acquiring new information. Class-Incremental Learning aims to create an integrated model that balances plasticity and stability to overcome this challenge. In this paper, we propose a selective regularization method that accepts new knowledge while maintaining previous knowledge. We first introduce an asymmetric feature distillation method for old and new classes inspired by cognitive science, using the gradient of classification and knowledge distillation losses to determine whether to perform pattern completion or pattern separation. We also propose a method to selectively interpolate the weight of the previous model for a balance between stability and plasticity, and we adjust whether to transfer through model confidence to ensure the performance of the previous class and enable exploratory learning. We validate the effectiveness of the proposed method, which surpasses the performance of existing methods through extensive experimental protocols using CIFAR-100, ImageNet-Subset, and ImageNet-Full.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI