Addressing Catastrophic Forgetting in Federated Class-Continual Learning

要約

このホワイト ペーパーでは、未調査ながらも重要な問題である Federated Class-Continual Learning (FCCL) に焦点を当てています。FCCL では、フェデレーテッド ラーニングで新しいクラスが動的に追加されます。
既存の FCCL 作業には、追加のデータセットが必要になったり、以前のタスクからのプライベート データを保存したりするなど、さまざまな制限があります。
これに対応して、非 IID データが FL の壊滅的な忘却の問題を悪化させることを最初に示します。
次に、TARGET (federat\textbf{T}ed cl\textbf{A}ss-continual lea\textbf{R}nin\textbf{G} via \textbf{E}xemplar-free dis\textbf{ という新しい方法を提案します。
クライアント データのプライバシーを保護しながら、FCCL で壊滅的な忘却を軽減します。
提案された方法は、以前にトレーニングされたグローバル モデルを活用して、モデル レベルで古いタスクの知識を現在のタスクに転送します。
さらに、ジェネレーターは、データ レベルで各クライアントのデータのグローバル分布をシミュレートする合成データを生成するようにトレーニングされています。
以前の FCCL メソッドと比較して、TARGET は追加のデータセットや以前のタスクからの実際のデータの保存を必要としないため、データに敏感なシナリオに最適です。

要約(オリジナル)

This paper focuses on an under-explored yet important problem: Federated Class-Continual Learning (FCCL), where new classes are dynamically added in federated learning. Existing FCCL works suffer from various limitations, such as requiring additional datasets or storing the private data from previous tasks. In response, we first demonstrate that non-IID data exacerbates catastrophic forgetting issue in FL. Then we propose a novel method called TARGET (federat\textbf{T}ed cl\textbf{A}ss-continual lea\textbf{R}nin\textbf{G} via \textbf{E}xemplar-free dis\textbf{T}illation), which alleviates catastrophic forgetting in FCCL while preserving client data privacy. Our proposed method leverages the previously trained global model to transfer knowledge of old tasks to the current task at the model level. Moreover, a generator is trained to produce synthetic data to simulate the global distribution of data on each client at the data level. Compared to previous FCCL methods, TARGET does not require any additional datasets or storing real data from previous tasks, which makes it ideal for data-sensitive scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google