MIND: Multi-Task Incremental Network Distillation

要約

動的データ ストリームを生成する普及型デバイスの最近の急増により、学習システムがデータ分布の変化に継続的に適応する必要性が強調されています。
この課題に取り組むために、研究コミュニティは、リプレイ データを使用しないクラス増分学習の厳しい追求など、さまざまな方法論を提案してきました。
この研究では、リプレイのないソリューションのパフォーマンスを大幅に向上させ、広く研究されているいくつかのデータセットで最先端の結果を達成することを目的としたパラメータ分離手法である MIND を紹介します。
私たちのアプローチは 2 つの主な貢献をもたらします。1 つは、MIND の効率を大幅に向上させ、各サブネットワークの蓄積された知識を増やす 2 つの代替蒸留手順、もう 1 つはサブネットワーク内のタスク全体にわたる BachNorm 層の最適化です。
全体として、MIND はリハーサル不要のクラスインクリメンタル学習のすべての最先端の手法を上回っています (CIFAR-100/10 では約 +6%、TinyImageNet/10 では +10% の分類精度の増加が見られます)。
約に達します。
ドメイン増分シナリオの精度が 40% 向上します。
さらに、各寄与を除去して、パフォーマンス向上への影響を実証しました。
私たちの結果は、MIND の優れたパフォーマンスを示しており、リソースに制約のある環境におけるクラス増分学習およびドメイン増分学習によってもたらされる課題に対処できる可能性を示しています。

要約(オリジナル)

The recent surge in pervasive devices generating dynamic data streams has underscored the necessity for learning systems to adapt to data distributional shifts continually. To tackle this challenge, the research community has put forth a spectrum of methodologies, including the demanding pursuit of class-incremental learning without replay data. In this study, we present MIND, a parameter isolation method that aims to significantly enhance the performance of replay-free solutions and achieve state-of-the-art results on several widely studied datasets. Our approach introduces two main contributions: two alternative distillation procedures that significantly improve the efficiency of MIND increasing the accumulated knowledge of each sub-network, and the optimization of the BachNorm layers across tasks inside the sub-networks. Overall, MIND outperforms all the state-of-the-art methods for rehearsal-free Class-Incremental learning (with an increment in classification accuracy of approx. +6% on CIFAR-100/10 and +10% on TinyImageNet/10) reaching up to approx. +40% accuracy in Domain-Incremental scenarios. Moreover, we ablated each contribution to demonstrate its impact on performance improvement. Our results showcase the superior performance of MIND indicating its potential for addressing the challenges posed by Class-incremental and Domain-Incremental learning in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google