Effective Decision Boundary Learning for Class Incremental Learning

要約

クラス増分学習 (CIL) のリハーサル アプローチは、主に次の 2 つの要因によって引き起こされる、新しいクラスへの決定境界オーバーフィッティングに悩まされています。
.
この作業では、これら 2 つの要因に取り組むためのシンプルだが効果的なアプローチを紹介します。
まず、リサンプリング戦略と Mixup K}nowledge D}istillation (Re-MKD) を採用して、KD のパフォーマンスを改善します。これにより、オーバーフィッティングの問題が大幅に軽減されます。
具体的には、混合と再サンプリングの戦略を組み合わせて、学習したクラスと新しいクラスの間の潜在的な分布とより一貫性のある KD トレーニングで使用される適切なデータを合成します。
次に、影響バランス法を CIL 設定に拡張することにより、CIL が不均衡なデータの分類に取り組むための新しいインクリメンタル インフルエンス バランス (IIB) 法を提案します。
これらの 2 つの改善により、KD のパフォーマンスを向上させ、不均衡なデータ学習を同時に処理する効果的な決定境界学習アルゴリズム (EDBL) を提示します。
実験は、提案された EDBL がいくつかの CIL ベンチマークで最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Rehearsal approaches in class incremental learning (CIL) suffer from decision boundary overfitting to new classes, which is mainly caused by two factors: insufficiency of old classes data for knowledge distillation and imbalanced data learning between the learned and new classes because of the limited storage memory. In this work, we present a simple but effective approach to tackle these two factors. First, we employ a re-sampling strategy and Mixup K}nowledge D}istillation (Re-MKD) to improve the performances of KD, which would greatly alleviate the overfitting problem. Specifically, we combine mixup and re-sampling strategies to synthesize adequate data used in KD training that are more consistent with the latent distribution between the learned and new classes. Second, we propose a novel incremental influence balance (IIB) method for CIL to tackle the classification of imbalanced data by extending the influence balance method into the CIL setting, which re-weights samples by their influences to create a proper decision boundary. With these two improvements, we present the effective decision boundary learning algorithm (EDBL) which improves the performance of KD and deals with the imbalanced data learning simultaneously. Experiments show that the proposed EDBL achieves state-of-the-art performances on several CIL benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google