FedET: A Communication-Efficient Federated Class-Incremental Learning Framework Based on Enhanced Transformer

要約

Federated Learning (FL) は、データのプライバシーを確​​保しながら分散学習を可能にするため、広く懸念されてきました。
ただし、既存のメソッドのほとんどは、ローカル クライアントが遭遇するクラスが時間の経過とともに固定されることを非現実的に想定しています。
新しいクラスを学習した後、この仮定により、モデルによる古いクラスの壊滅的な忘却が著しく深刻になります。
さらに、通信コストの制限により、フロリダ州で大規模なモデルを使用することは困難であり、予測精度に影響を及ぼします。
これらの課題に対処するために、私たちは高精度と低通信コストを同時に実現する新しいフレームワーク、Federated Enhanced Transformer (FedET) を提案します。
具体的には、FedET は、小さなモジュールであるエンハンサーを使用して新しい知識を吸収して伝達し、さまざまなタスクで高精度を保証するために、さまざまなエンハンサーと組み合わせた事前トレーニング済みのトランスフォーマーを適用します。
新しいタスクの新しいクラスによって引き起こされるローカルな忘却と、異なるローカル クライアント間の非 i.i.d (非独立で同一に分散された) クラスの不均衡によってもたらされるグローバルな忘却に対処するために、古い知識と新しい知識の間の不均衡を修正するエンハンサー蒸留手法を提案しました。
非i.i.d.を修理します。
問題。
実験結果は、代表的なベンチマーク データセットに対する FedET の平均精度が最先端の方法より 14.1% 高く、FedET が以前の方法と比較して通信コストを 90% 節約することを示しています。

要約(オリジナル)

Federated Learning (FL) has been widely concerned for it enables decentralized learning while ensuring data privacy. However, most existing methods unrealistically assume that the classes encountered by local clients are fixed over time. After learning new classes, this assumption will make the model’s catastrophic forgetting of old classes significantly severe. Moreover, due to the limitation of communication cost, it is challenging to use large-scale models in FL, which will affect the prediction accuracy. To address these challenges, we propose a novel framework, Federated Enhanced Transformer (FedET), which simultaneously achieves high accuracy and low communication cost. Specifically, FedET uses Enhancer, a tiny module, to absorb and communicate new knowledge, and applies pre-trained Transformers combined with different Enhancers to ensure high precision on various tasks. To address local forgetting caused by new classes of new tasks and global forgetting brought by non-i.i.d (non-independent and identically distributed) class imbalance across different local clients, we proposed an Enhancer distillation method to modify the imbalance between old and new knowledge and repair the non-i.i.d. problem. Experimental results demonstrate that FedET’s average accuracy on representative benchmark datasets is 14.1% higher than the state-of-the-art method, while FedET saves 90% of the communication cost compared to the previous method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google