Adaptive Weighted Parameter Fusion with CLIP for Class-Incremental Learning

要約

クラスインクリメンテルラーニング（CIL）により、モデルは新しいクラスから知識を徐々に吸収し、以前に遭遇したすべてのクラスで一般的な分類子を構築できます。
モデルが新しいクラスで最適化すると、以前のクラスの知識は必然的に消去され、壊滅的な忘却につながります。
この課題に対処するには、古い知識を維持することと新しい情報に対応することとのトレードオフをする必要があります。
ただし、このバランスをとるプロセスには、いくつかの情報を犠牲にする必要があることが多く、クラス間を区別するモデルの能力に部分的な損失につながる可能性があります。
この問題に取り組むために、異なるタスクのデータ分布の変動性を考慮に入れるだけでなく、パラメーターマトリックスのすべての効果的な情報を最大限に保持するため、対照的な言語イメージのプリトレーニング（CLIP）を使用して、適応加重パラメーター融合を設計します。
さらに、隣接するタスクのデータ分布アライメントと区別可能性のバランスをとることができるバランス係数を導入します。
いくつかの従来のベンチマークでの実験結果は、提案された方法の優位性を検証します。

要約(オリジナル)

Class-incremental Learning (CIL) enables the model to incrementally absorb knowledge from new classes and build a generic classifier across all previously encountered classes. When the model optimizes with new classes, the knowledge of previous classes is inevitably erased, leading to catastrophic forgetting. Addressing this challenge requires making a trade-off between retaining old knowledge and accommodating new information. However, this balancing process often requires sacrificing some information, which can lead to a partial loss in the model’s ability to discriminate between classes. To tackle this issue, we design the adaptive weighted parameter fusion with Contrastive Language-Image Pre-training (CLIP), which not only takes into account the variability of the data distribution of different tasks, but also retains all the effective information of the parameter matrix to the greatest extent. In addition, we introduce a balance factor that can balance the data distribution alignment and distinguishability of adjacent tasks. Experimental results on several traditional benchmarks validate the superiority of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google