Noise-Tolerant Coreset-Based Class Incremental Continual Learning

要約

コンピュータービジョンの多くのアプリケーションでは、展開後に新しいデータ分布に適応する機能が必要です。
適応には、継続的な学習が可能なアルゴリズム（CL）が必要です。
継続的な学習者は、以前のタスクの忘れを最小限に抑えながら、新しいタスクに適応するためにプラスチックでなければなりません。
この作業は、クラスインクレメント学習（CIL）のコンテキストでのラベルノイズとインスタンスノイズに焦点を当てています。ここでは、新しいクラスが時間の経過とともに分類子に追加され、過去のクラスの外部データへのアクセスはありません。
コアセットのアイデアを使用して構築されたメモリからアイテムを再生することで機能するCLメソッドの感度を理解することを目指しています。
私たちは、一般的な添加剤ノイズ脅威モデルの下で無相関のインスタンスノイズに、そのような方法の堅牢性の新しい境界を導き出し、いくつかの洞察を明らかにします。
理論を実践すると、2つの継続的な学習アルゴリズムを作成して、ノイズ耐性リプレイバッファーを構築します。
5つの多様なデータセットでのラベルおよび無相関インスタンスノイズの下で、以前のメモリベースの継続学習者と提案されたアルゴリズムの有効性を経験的に比較します。
既存のメモリベースのCLは堅牢ではないのに対し、提案された方法は分類精度を最大化し、騒々しいCIL設定で忘却を最小化することに大幅な改善を示します。

要約(オリジナル)

Many applications of computer vision require the ability to adapt to novel data distributions after deployment. Adaptation requires algorithms capable of continual learning (CL). Continual learners must be plastic to adapt to novel tasks while minimizing forgetting of previous tasks.However, CL opens up avenues for noise to enter the training pipeline and disrupt the CL. This work focuses on label noise and instance noise in the context of class-incremental learning (CIL), where new classes are added to a classifier over time, and there is no access to external data from past classes. We aim to understand the sensitivity of CL methods that work by replaying items from a memory constructed using the idea of Coresets. We derive a new bound for the robustness of such a method to uncorrelated instance noise under a general additive noise threat model, revealing several insights. Putting the theory into practice, we create two continual learning algorithms to construct noise-tolerant replay buffers. We empirically compare the effectiveness of prior memory-based continual learners and the proposed algorithms under label and uncorrelated instance noise on five diverse datasets. We show that existing memory-based CL are not robust whereas the proposed methods exhibit significant improvements in maximizing classification accuracy and minimizing forgetting in the noisy CIL setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google