Divide and not forget: Ensemble of selectively trained experts in Continual Learning

要約

クラス増分学習は、すでに知っていることを忘れずにモデルの適用範囲を広げるのに役立つため、人気が高まっています。
この分野の傾向は、さまざまなモデルが連携してタスクを解決する、専門家混合手法を使用することです。
ただし、専門家は通常、タスク全体のデータを使用して一度にトレーニングされるため、専門家全員が忘れて計算負荷が増大する傾向があります。
この制限に対処するために、SEED という新しいアプローチを導入します。
SEED は、検討中のタスクに最も最適なエキスパートを 1 人だけ選択し、このタスクからのデータを使用してこのエキスパートのみを微調整します。
この目的のために、各エキスパートはガウス分布で各クラスを表し、それらの分布の類似性に基づいて最適なエキスパートが選択されます。
その結果、SEED は、このアンサンブル手法の高い安定性を維持しながら、専門家内の多様性と異質性を高めます。
広範な実験により、SEED がさまざまなシナリオにわたって見本なしの設定で最先端のパフォーマンスを達成することが実証され、継続的な学習におけるデータを通じて専門家が多様化する可能性が示されています。

要約(オリジナル)

Class-incremental learning is becoming more popular as it helps models widen their applicability while not forgetting what they already know. A trend in this area is to use a mixture-of-expert technique, where different models work together to solve the task. However, the experts are usually trained all at once using whole task data, which makes them all prone to forgetting and increasing computational burden. To address this limitation, we introduce a novel approach named SEED. SEED selects only one, the most optimal expert for a considered task, and uses data from this task to fine-tune only this expert. For this purpose, each expert represents each class with a Gaussian distribution, and the optimal expert is selected based on the similarity of those distributions. Consequently, SEED increases diversity and heterogeneity within the experts while maintaining the high stability of this ensemble method. The extensive experiments demonstrate that SEED achieves state-of-the-art performance in exemplar-free settings across various scenarios, showing the potential of expert diversification through data in continual learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google