Exemplar-condensed Federated Class-incremental Learning

要約

我々は、ストリーミングデータから実画像の学習特性を抽出し、有益なリハーサル模範にする模範凝縮型連合クラス増加学習(Exemplar-Condensed federated class-incremental learning: ECoral)を提案する。提案手法は、連携継続学習(FCL)における壊滅的忘却を緩和するための、再生ベースのアプローチにおける模範選択の限界を排除する。その限界は特に、要約された各データの情報密度の不均一性に関連する。本アプローチでは、学習勾配の一貫性と過去のタスクとの関係を維持することで、元の画像と比較してストリーミングデータを効果的に表現する。さらに、我々のアプローチは、離散化生成モデルをクライアント間で共有することにより、要約データの情報レベルの不均一性を低減する。広範な実験により、我々のECoralはいくつかの最先端の手法を凌駕し、性能を向上させるために多くの既存のアプローチとシームレスに統合できることが示された。

要約(オリジナル)

We propose Exemplar-Condensed federated class-incremental learning (ECoral) to distil the training characteristics of real images from streaming data into informative rehearsal exemplars. The proposed method eliminates the limitations of exemplar selection in replay-based approaches for mitigating catastrophic forgetting in federated continual learning (FCL). The limitations particularly related to the heterogeneity of information density of each summarized data. Our approach maintains the consistency of training gradients and the relationship to past tasks for the summarized exemplars to represent the streaming data compared to the original images effectively. Additionally, our approach reduces the information-level heterogeneity of the summarized data by inter-client sharing of the disentanglement generative model. Extensive experiments show that our ECoral outperforms several state-of-the-art methods and can be seamlessly integrated with many existing approaches to enhance performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL