Enhancing knowledge retention for continual learning with domain-specific adapters and features gating

要約

継続的な学習により、モデルは、以前に獲得した知識を保存しながら、壊滅的な忘却の課題に効果的に対処しながら、データの継続的なストリームから学習することができます。
この研究では、異なるドメインからデータセットを順次追加するときに、視覚変圧器の自己触媒メカニズム内にアダプターを統合して知識保持を強化する新しいアプローチを提案します。
1つのデータセットのみで学習を継続する以前の方法とは異なり、このアプローチはドメイン固有の出力ヘッドと特徴ゲーティングを導入し、以前に学習したタスクの高い精度を維持しながら、複数のドメインからの重要な情報のみを組み込みます。
提案された方法は、現在のART最新の最新のパラメーター効率の高い微調整方法と比較されます。
結果は、私たちの方法が以前の作品の限界を効果的に軽減するという証拠を提供します。
さらに、モデルのパフォーマンスに対するタスク順序の影響を調査するために、それぞれCIFAR-100、Flowers102、およびDTDの3つのデータセット、CIFAR-100、Flowers102、およびDTDを使用して比較分析を実施します。
私たちの調査結果は、学習成果の形成におけるデータセットシーケンスの重要な役割を強調しており、戦略的注文が以前に学んだ知識の完全性を維持しながら、経時的なデータ分布に適応するモデルの能力を大幅に改善できることを示しています。

要約(オリジナル)

Continual learning empowers models to learn from a continuous stream of data while preserving previously acquired knowledge, effectively addressing the challenge of catastrophic forgetting. In this study, we propose a new approach that integrates adapters within the self-attention mechanisms of Vision Transformers to enhance knowledge retention when sequentially adding datasets from different domains. Unlike previous methods that continue learning with only one dataset, our approach introduces domain-specific output heads and feature gating, allowing the model to maintain high accuracy on previously learned tasks while incorporating only the essential information from multiple domains. The proposed method is compared to prominent parameter-efficient fine-tuning methods in the current state of the art. The results provide evidence that our method effectively alleviates the limitations of previous works. Furthermore, we conduct a comparative analysis using three datasets, CIFAR-100, Flowers102, and DTD, each representing a distinct domain, to investigate the impact of task order on model performance. Our findings underscore the critical role of dataset sequencing in shaping learning outcomes, demonstrating that strategic ordering can significantly improve the model’s ability to adapt to evolving data distributions over time while preserving the integrity of previously learned knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google