Boosting Domain Incremental Learning: Selecting the Optimal Parameters is All You Need

要約

深いニューラルネットワーク（DNN）は、データ分布が時間とともに変化する現実世界の動的な設定でしばしばパフォーマンスを低下させます。
ドメイン増分学習（DIL）は、継続的なモデル適応を可能にすることにより解決策を提供し、パラメーター分離DIL（ピディル）が知識の対立を減らすための有望なパラダイムとして浮上します。
ただし、既存のピジルメソッドは、特にドメインと対応するクラスの数が増加するため、パラメーターの選択精度と格闘しています。
これに対処するために、ピディルのドメイン選択を改善する軽量フレームワークであるSoyoを提案します。
Soyoは、ガウス混合コンプレッサー（GMC）とドメイン機能の再サンプラー（DFR）を導入して、以前のドメインデータを効率的に保存およびバランスさせ、マルチレベルドメイン特徴Fusion Fusion Network（MDFN）がドメイン機能の抽出を強化します。
当社のフレームワークは、複数のパラメーター効率の高い微調整（PEFT）メソッドをサポートし、画像分類、オブジェクト検出、音声強化などのタスク全体で検証されています。
6つのベンチマークでの実験結果は、既存のベースラインに対するSoyoの一貫した優位性を示しており、複雑で進化する環境での堅牢性と適応性を示しています。
コードはhttps://github.com/qwangcv/soyoでリリースされます。

要約(オリジナル)

Deep neural networks (DNNs) often underperform in real-world, dynamic settings where data distributions change over time. Domain Incremental Learning (DIL) offers a solution by enabling continual model adaptation, with Parameter-Isolation DIL (PIDIL) emerging as a promising paradigm to reduce knowledge conflicts. However, existing PIDIL methods struggle with parameter selection accuracy, especially as the number of domains and corresponding classes grows. To address this, we propose SOYO, a lightweight framework that improves domain selection in PIDIL. SOYO introduces a Gaussian Mixture Compressor (GMC) and Domain Feature Resampler (DFR) to store and balance prior domain data efficiently, while a Multi-level Domain Feature Fusion Network (MDFN) enhances domain feature extraction. Our framework supports multiple Parameter-Efficient Fine-Tuning (PEFT) methods and is validated across tasks such as image classification, object detection, and speech enhancement. Experimental results on six benchmarks demonstrate SOYO’s consistent superiority over existing baselines, showcasing its robustness and adaptability in complex, evolving environments. The codes will be released in https://github.com/qwangcv/SOYO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google