Cascaded Scaling Classifier: class incremental learning with probability scaling

要約

人間は、新しい知識を獲得し、学習した知識を異なる領域に移行する能力があり、その際、わずかな忘却が発生する。継続的学習と呼ばれるこの能力は、ニューラル・ネットワークを使用する場合、新しいタスクを学習する際に過去に学習したタスクの忘却が影響するため、実現が困難である。この忘却は、過去のタスクから保存されたサンプルを再生することで軽減できるが、長いタスクの連続には大きなメモリサイズが必要になる可能性がある。本論文では、新しい正則化アプローチと、新しいインクリメンタル分類器を提案する。前者は、ソフトな制約と知識蒸留アプローチを組み合わせ、モデルが新しいパターンを効率的に学習できるようにしながら、過去の学習知識を保持する。後者はゲーテッド・インクリメンタル分類器で、モデルが過去の予測に直接干渉することなく、過去の予測を修正することを支援します。これは、補助的なスケーリング関数を用いてモデルの出力を修正することで達成される。また、我々の提案の各コンポーネントと、そのようなコンポーネントの組み合わせが最終的な結果にどのような影響を与えるかについても研究する。

要約(オリジナル)

Humans are capable of acquiring new knowledge and transferring learned knowledge into different domains, incurring a small forgetting. The same ability, called Continual Learning, is challenging to achieve when operating with neural networks due to the forgetting affecting past learned tasks when learning new ones. This forgetting can be mitigated by replaying stored samples from past tasks, but a large memory size may be needed for long sequences of tasks; moreover, this could lead to overfitting on saved samples. In this paper, we propose a novel regularisation approach and a novel incremental classifier called, respectively, Margin Dampening and Cascaded Scaling Classifier. The first combines a soft constraint and a knowledge distillation approach to preserve past learned knowledge while allowing the model to learn new patterns effectively. The latter is a gated incremental classifier, helping the model modify past predictions without directly interfering with them. This is achieved by modifying the output of the model with auxiliary scaling functions. We empirically show that our approach performs well on multiple benchmarks against well-established baselines, and we also study each component of our proposal and how the combinations of such components affect the final results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL