Dynamic Heterogeneous Federated Learning with Multi-Level Prototypes

要約

フェデレーテッド ラーニングは、プライバシーを保護する共同学習手法として有望です。
既存の異種フェデレーテッド ラーニングは、主にクライアント間でラベルの分布を偏らせることに焦点を当てています。
ただし、ほとんどのアプローチは、主にすべてのクラスのグローバルな分布が極端に不均衡であり、クライアントのデータ分布が時間の経過とともに動的に進化する場合に、壊滅的な忘却と概念のドリフトに悩まされます。
この論文では、新しいタスク、つまり動的異種フェデレーション学習 (DHFL) について研究します。これは、異なるクライアントとクライアント内の動的タスク間に異種データの分布が存在する実際的なシナリオに対処します。
したがって、我々は Federated Multi-Level Prototypes (FedMLP) という名前の新しいフェデレーテッド ラーニング フレームワークを提案し、フェデレーテッド マルチレベル正則化を設計します。
概念のドリフトを軽減するために、プロトタイプとセマンティック プロトタイプを構築して、実りある一般化知識を提供し、プロトタイプ空間の連続性を確保します。
モデルの安定性と収束の一貫性を維持するために、トレーニング損失として 3 つの正則化、つまりプロトタイプベースの正則化、セマンティック プロトタイプ ベースの正則化、フェデレーテッド タスク間正則化が導入されます。
広範な実験により、提案された方法がさまざまな設定で最先端のパフォーマンスを達成することが示されています。

要約(オリジナル)

Federated learning shows promise as a privacy-preserving collaborative learning technique. Existing heterogeneous federated learning mainly focuses on skewing the label distribution across clients. However, most approaches suffer from catastrophic forgetting and concept drift, mainly when the global distribution of all classes is extremely unbalanced and the data distribution of the client dynamically evolves over time. In this paper, we study the new task, i.e., Dynamic Heterogeneous Federated Learning (DHFL), which addresses the practical scenario where heterogeneous data distributions exist among different clients and dynamic tasks within the client. Accordingly, we propose a novel federated learning framework named Federated Multi-Level Prototypes (FedMLP) and design federated multi-level regularizations. To mitigate concept drift, we construct prototypes and semantic prototypes to provide fruitful generalization knowledge and ensure the continuity of prototype spaces. To maintain the model stability and consistency of convergence, three regularizations are introduced as training losses, i.e., prototype-based regularization, semantic prototype-based regularization, and federated inter-task regularization. Extensive experiments show that the proposed method achieves state-of-the-art performance in various settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google