Federated Class-Incremental Learning with Prompting

要約

Webテクノロジーが発展し続けるにつれて、さまざまなクライアントに保存されているデータを使用することがますます一般的になっています。
同時に、フェデレーションラーニングは、さまざまなクライアントに分散されているデータからモデルを学習させたときにデータプライバシーを保護する能力により、広範囲にわたる注目を集めています。
ただし、ほとんどの既存の作業は、クライアントのデータが修正されていると想定しています。
実際のシナリオでは、データが継続的に生成され、新しいクラスも表示される可能性があるため、このような仮定は真実ではない可能性が最も高くなります。
この目的のために、私たちは実用的で挑戦的な連合された階級学習（FCIL）の問題に焦点を当てています。
FCILの場合、ローカルおよびグローバルモデルは、新しいクラスの到着とクライアントのデータ分布によって引き起こされる古いクラスの壊滅的な忘却に苦しむ可能性があります。
この論文では、プロンプト（FCILPT）を使用したFederated Class-Incremental Learningと呼ばれる新しい方法を提案します。
プライバシーと限られたメモリを考えると、FCILPTはリハーサルベースのバッファーを使用して古いデータの模範を保持しません。
私たちは、古いクラスの壊滅的な忘却を容易にするために、プロンプトを使用することを選択します。
具体的には、タスクに関連したタスクに関係のない知識をプロンプトにエンコードし、地元のクライアントの古い知識と新しい知識を維持し、壊滅的な忘却の問題を解決します。
最初に、地元のクライアントのプロンプトプールのタスク情報を並べ替えて、グローバル集約の前に異なるクライアントのタスク情報を調整します。
同じタスクの知識が完全に統合されていることを保証し、同じ増分タスクで異なるクライアント間のクラスの不足によって引き起こされる非IIDの問題を解決します。
CIFAR-100、Mini-Imagenet、およびTiny-Imagenetの実験は、FCILPTが最新の方法よりも大幅な精度の向上を達成することを示しています。

要約(オリジナル)

As Web technology continues to develop, it has become increasingly common to use data stored on different clients. At the same time, federated learning has received widespread attention due to its ability to protect data privacy when let models learn from data which is distributed across various clients. However, most existing works assume that the client’s data are fixed. In real-world scenarios, such an assumption is most likely not true as data may be continuously generated and new classes may also appear. To this end, we focus on the practical and challenging federated class-incremental learning (FCIL) problem. For FCIL, the local and global models may suffer from catastrophic forgetting on old classes caused by the arrival of new classes and the data distributions of clients are non-independent and identically distributed (non-iid). In this paper, we propose a novel method called Federated Class-Incremental Learning with PrompTing (FCILPT). Given the privacy and limited memory, FCILPT does not use a rehearsal-based buffer to keep exemplars of old data. We choose to use prompts to ease the catastrophic forgetting of the old classes. Specifically, we encode the task-relevant and task-irrelevant knowledge into prompts, preserving the old and new knowledge of the local clients and solving the problem of catastrophic forgetting. We first sort the task information in the prompt pool in the local clients to align the task information on different clients before global aggregation. It ensures that the same task’s knowledge are fully integrated, solving the problem of non-iid caused by the lack of classes among different clients in the same incremental task. Experiments on CIFAR-100, Mini-ImageNet, and Tiny-ImageNet demonstrate that FCILPT achieves significant accuracy improvements over the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google