Internal Cross-layer Gradients for Extending Homogeneity to Heterogeneity in Federated Learning

要約

フェデレーション ラーニング (FL) は、実際のシナリオではシステムの異質性という課題に必然的に直面します。
システムの不均一性を処理する際のほとんどのモデル同種 FL 法の能力を強化するために、この課題に対処するためにその能力を拡張できるトレーニング スキームを提案します。
このペーパーでは、同種および異種の FL 設定の詳細な調査から調査を開始し、次の 3 つの重要な観察結果を発見します: (1) クライアントのパフォーマンスとレイヤーの類似性の間には正の相関関係がある、(2) クライアントのパフォーマンスとレイヤーの類似性との間には正の相関がある、(2) クライアントのパフォーマンスとレイヤーの類似性とは対照的に、浅いレイヤーでは類似性が高い。
(3) より滑らかな勾配分布は、より高い層の類似性を示します。
これらの観察に基づいて、クライアント間の追加の通信を必要とせずに、サーバー モデル内の浅い層と深い層からの勾配の混合である内部層間勾配を活用する InCo アグリゲーションを提案します。
さらに、私たちのメソッドは、FedAvg、FedProx、FedNova、Scaffold、MOON などのモデル同種の FL メソッドに対応するように調整でき、システムの異種性を処理する機能を拡張できます。
豊富な実験結果により、InCo 凝集の有効性が検証され、異種 FL のパフォーマンスを向上させる有望な手段として内部層間勾配に焦点が当てられています。

要約(オリジナル)

Federated learning (FL) inevitably confronts the challenge of system heterogeneity in practical scenarios. To enhance the capabilities of most model-homogeneous FL methods in handling system heterogeneity, we propose a training scheme that can extend their capabilities to cope with this challenge. In this paper, we commence our study with a detailed exploration of homogeneous and heterogeneous FL settings and discover three key observations: (1) a positive correlation between client performance and layer similarities, (2) higher similarities in the shallow layers in contrast to the deep layers, and (3) the smoother gradients distributions indicate the higher layer similarities. Building upon these observations, we propose InCo Aggregation that leverags internal cross-layer gradients, a mixture of gradients from shallow and deep layers within a server model, to augment the similarity in the deep layers without requiring additional communication between clients. Furthermore, our methods can be tailored to accommodate model-homogeneous FL methods such as FedAvg, FedProx, FedNova, Scaffold, and MOON, to expand their capabilities to handle the system heterogeneity. Copious experimental results validate the effectiveness of InCo Aggregation, spotlighting internal cross-layer gradients as a promising avenue to enhance the performance in heterogenous FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google