Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning

要約

クラスインクリメンテルラーニング（CIL）は、モデルが以前に学んだ知識の知識を保持しながら、新しいクラスを順次学習できるようにすることを目指しています。
特にタスクIDが不明な場合、柔軟性と安定性のバランスをとることは重要な課題のままです。
これに対処するために、我々の研究では、斬新なタスクと既存のタスクの間の特徴分布のギャップは、主に平均と共分散の瞬間の違いによって駆動されることが明らかになりました。
この洞察に基づいて、平均シフト補償と共分散キャリブレーションを組み込んだ新しいセマンティックドリフトキャリブレーション法を提案します。
具体的には、サンプルの埋め込みを平均化することにより、各クラスの平均を計算し、以前の平均に近い加重埋め込み変更を使用してタスクシフトを推定し、新しいタスクごとにすべての学習クラスの平均シフトを効果的にキャプチャします。
また、共分散キャリブレーションのためにマハラノビス距離制約を適用し、クラス固有の埋め込みコバリエンスを古いネットワークと現在のネットワーク間の共分散化に合わせて、共分散シフトを緩和します。
さらに、一般化を強化するために、機能レベルの自己設定アプローチを統合します。
一般的に使用されるデータセットでの包括的な実験は、私たちのアプローチの有効性を示しています。
ソースコードは、\ href {https://github.com/fwu11/macil.git} {https://github.com/fwu11/macil.git}で利用できます。

要約(オリジナル)

Class-incremental learning (CIL) seeks to enable a model to sequentially learn new classes while retaining knowledge of previously learned ones. Balancing flexibility and stability remains a significant challenge, particularly when the task ID is unknown. To address this, our study reveals that the gap in feature distribution between novel and existing tasks is primarily driven by differences in mean and covariance moments. Building on this insight, we propose a novel semantic drift calibration method that incorporates mean shift compensation and covariance calibration. Specifically, we calculate each class’s mean by averaging its sample embeddings and estimate task shifts using weighted embedding changes based on their proximity to the previous mean, effectively capturing mean shifts for all learned classes with each new task. We also apply Mahalanobis distance constraint for covariance calibration, aligning class-specific embedding covariances between old and current networks to mitigate the covariance shift. Additionally, we integrate a feature-level self-distillation approach to enhance generalization. Comprehensive experiments on commonly used datasets demonstrate the effectiveness of our approach. The source code is available at \href{https://github.com/fwu11/MACIL.git}{https://github.com/fwu11/MACIL.git}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google