ICICLE: Interpretable Class Incremental Continual Learning

要約

継続的な学習により、以前に学習したタスクを忘れることなく新しいタスクを段階的に学習できるようになり、その結果、新しいタスクと古いタスクの両方でパフォーマンスを向上させる積極的な知識の伝達が可能になります。
ただし、モデル予測の背後にある理論的根拠が時間の経過とともに変化し、解釈可能性の概念のずれにつながる可能性があるため、継続的な学習は解釈可能性に関して新たな課題を引き起こします。
我々は、プロトタイプのパーツベースのアプローチを採用した、見本なしのアプローチである Interpretable Class-InCremental LEarning (ICICLE) を提案することで、この問題に対処します。
これは 3 つの重要な新機能で構成されています。ユーザーフレンドリーな肯定的な推論を維持しながら、以前に学習した概念を抽出する解釈可能性の正則化です。
きめ細かい設定に特化した近接ベースのプロトタイプ初期化戦略。
プロトタイプ部品に特化したタスク最新性バイアス補正。
私たちの実験結果は、ICICLE が概念ベースのモデルに適用された場合、解釈可能性の概念ドリフトを軽減し、一般的なクラス増分学習の既存のサンプルを使用しない方法よりも優れたパフォーマンスを発揮することを示しています。

要約(オリジナル)

Continual learning enables incremental learning of new tasks without forgetting those previously learned, resulting in positive knowledge transfer that can enhance performance on both new and old tasks. However, continual learning poses new challenges for interpretability, as the rationale behind model predictions may change over time, leading to interpretability concept drift. We address this problem by proposing Interpretable Class-InCremental LEarning (ICICLE), an exemplar-free approach that adopts a prototypical part-based approach. It consists of three crucial novelties: interpretability regularization that distills previously learned concepts while preserving user-friendly positive reasoning; proximity-based prototype initialization strategy dedicated to the fine-grained setting; and task-recency bias compensation devoted to prototypical parts. Our experimental results demonstrate that ICICLE reduces the interpretability concept drift and outperforms the existing exemplar-free methods of common class-incremental learning when applied to concept-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google