Federated Two Stage Decoupling With Adaptive Personalization Layers

要約

Federated Learning は、プライバシーの制約を維持しながら分散学習を可能にする画期的な機能により、大きな注目を集めています。
ただし、分散デバイス間のデータの異質性の結果として、本質的に学習が大幅に低下し、収束速度が遅くなります。
したがって、同種のクライアントを同じグループにクラスタリングし、各グループ内のモデルの重みのみを集約するという概念を採用するのが自然です。
既存のクラスター化されたフェデレーテッド ラーニング手法のほとんどは、クライアント パーティショニングのメトリクスとしてモデル勾配または推論出力のいずれかを採用していますが、同様のデバイスをグループ化することを目的としており、各クラスター内で依然として異質性が存在する可能性があります。
さらに、クラスタリングの適切なタイミングを決定する根本的な理由を調査する研究は不足しており、その結果、特に独立性が高く同一に分散されているコンテキスト (非 IID) では、各クライアントを独自の個別のクラスタに割り当てることが一般的に行われています。
） データ。
この論文では、FedTSDP という適応パーソナライゼーション層を備えた 2 段階のデカップリング連合学習アルゴリズムを紹介します。このアルゴリズムでは、推論出力とモデルの重みに従ってクライアント クラスタリングがそれぞれ 2 回実行されます。
ホプキンス修正サンプリングは、クラスタリングの適切なタイミングとラベルなしの公開データのサンプリング重みを決定するために採用されています。
さらに、さまざまな程度のデータ スキューに基づいてパーソナライゼーション レイヤーを適応的に調整するための、シンプルかつ効果的なアプローチが開発されています。
実験結果は、私たちの提案した方法が IID シナリオと非 IID シナリオの両方で信頼できるパフォーマンスを発揮することを示しています。

要約(オリジナル)

Federated learning has gained significant attention due to its groundbreaking ability to enable distributed learning while maintaining privacy constraints. However, as a consequence of data heterogeneity among decentralized devices, it inherently experiences significant learning degradation and slow convergence speed. Therefore, it is natural to employ the concept of clustering homogeneous clients into the same group, allowing only the model weights within each group to be aggregated. While most existing clustered federated learning methods employ either model gradients or inference outputs as metrics for client partitioning, with the goal of grouping similar devices together, may still have heterogeneity within each cluster. Moreover, there is a scarcity of research exploring the underlying reasons for determining the appropriate timing for clustering, resulting in the common practice of assigning each client to its own individual cluster, particularly in the context of highly non independent and identically distributed (Non-IID) data. In this paper, we introduce a two-stage decoupling federated learning algorithm with adaptive personalization layers named FedTSDP, where client clustering is performed twice according to inference outputs and model weights, respectively. Hopkins amended sampling is adopted to determine the appropriate timing for clustering and the sampling weight of public unlabeled data. In addition, a simple yet effective approach is developed to adaptively adjust the personalization layers based on varying degrees of data skew. Experimental results show that our proposed method has reliable performance on both IID and non-IID scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google