GradMix: Gradient-based Selective Mixup for Robust Data Augmentation in Class-Incremental Learning

要約

継続的な学習の文脈では、以前の知識を維持しながら新しい知識を獲得することは重要な課題です。
既存の方法では、トレーニングのために以前のタスクデータのごく一部を保存するエクスペリエンスリプレイテクニックを使用します。
経験リプレイアプローチでは、限られた以前のタスクデータと十分な現在のタスクデータを混合することにより、モデルパフォーマンスをさらに改善するための有望な戦略としてデータの増強が浮上しています。
ただし、ランダムなサンプルペアからの混合サンプルでのトレーニングが以前のタスクの知識に害を及ぼす可能性があり、壊滅的な忘却が大きくなる可能性があることを理論的および経験的に分析します。
次に、階級学習における壊滅的な忘却を緩和するために特別に設計された堅牢なデータ増強方法であるGradMixを提案します。
Gradmixは、壊滅的な忘却を減らすために有害なクラスペアからではなく、役立つクラスペアからのサンプルのみを混合するクラスベースの基準を使用して、グラデーションベースの選択的混合を実行します。
さまざまな実際のデータセットでの実験は、GradMixが以前の知識の忘却を最小限に抑えることにより、データ増強ベースラインを精度の上回ることを示しています。

要約(オリジナル)

In the context of continual learning, acquiring new knowledge while maintaining previous knowledge presents a significant challenge. Existing methods often use experience replay techniques that store a small portion of previous task data for training. In experience replay approaches, data augmentation has emerged as a promising strategy to further improve the model performance by mixing limited previous task data with sufficient current task data. However, we theoretically and empirically analyze that training with mixed samples from random sample pairs may harm the knowledge of previous tasks and cause greater catastrophic forgetting. We then propose GradMix, a robust data augmentation method specifically designed for mitigating catastrophic forgetting in class-incremental learning. GradMix performs gradient-based selective mixup using a class-based criterion that mixes only samples from helpful class pairs and not from detrimental class pairs for reducing catastrophic forgetting. Our experiments on various real datasets show that GradMix outperforms data augmentation baselines in accuracy by minimizing the forgetting of previous knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google