FPPL: An Efficient and Non-IID Robust Federated Continual Learning Framework

要約

フェデレーション継続学習 (FCL) は、分散型フェデレーテッド ラーニング設定でシーケンシャル データ ストリームから学習すると同時に、従来の継続学習における壊滅的な忘却の問題を軽減することを目的としています。
既存の FCL 手法は通常、典型的なリハーサル メカニズムを採用しており、その結果、プライバシーの侵害や、面倒なストレージや計算の負担が増大する可能性があります。
この研究では、Federated Prototype-Augmented Prompt Learning (FPPL) と呼ばれる、効率的で非 IID の堅牢なフェデレーテッド継続学習フレームワークが提案されています。
FPPL は、プロトタイプによって強化された軽量プロンプトをリハーサルなしで共同学習できます。
クライアント側では、致命的な物忘れを軽減するために、タスク固有のプロンプトに含まれる知識を最大限に活用するために融合機能が採用されています。
さらに、サーバーから集約されたグローバル プロトタイプを使用して、対照学習を通じて統一表現を取得し、IID 由来以外のデータの異質性の影響を軽減します。
サーバー側では、ローカルにアップロードされたプロトタイプを利用して分類器のバイアス除去が実行され、非 IID と壊滅的な忘却の両方によって引き起こされるパフォーマンスの低下がさらに軽減されます。
経験的評価により、FPPL の有効性が実証され、効率的な設計で顕著なパフォーマンスを達成しながら、さまざまな非 IID 度に対して堅牢性を維持します。
コードは https://github.com/ycheoo/FPPL から入手できます。

要約(オリジナル)

Federated continual learning (FCL) aims to learn from sequential data stream in the decentralized federated learning setting, while simultaneously mitigating the catastrophic forgetting issue in classical continual learning. Existing FCL methods usually employ typical rehearsal mechanisms, which could result in privacy violations or additional onerous storage and computational burdens. In this work, an efficient and non-IID robust federated continual learning framework, called Federated Prototype-Augmented Prompt Learning (FPPL), is proposed. The FPPL can collaboratively learn lightweight prompts augmented by prototypes without rehearsal. On the client side, a fusion function is employed to fully leverage the knowledge contained in task-specific prompts for alleviating catastrophic forgetting. Additionally, global prototypes aggregated from the server are used to obtain unified representation through contrastive learning, mitigating the impact of non-IID-derived data heterogeneity. On the server side, locally uploaded prototypes are utilized to perform debiasing on the classifier, further alleviating the performance degradation caused by both non-IID and catastrophic forgetting. Empirical evaluations demonstrate the effectiveness of FPPL, achieving notable performance with an efficient design while remaining robust to diverse non-IID degrees. Code is available at: https://github.com/ycheoo/FPPL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google