FedSAC: Dynamic Submodel Allocation for Collaborative Fairness in Federated Learning

要約

協調的な公平性は、個々の貢献に基づいて報酬を公平に分配することでクライアントの参加を促進するフェデレーテッド ラーニングにおいて不可欠な要素です。
既存の方法は主に、クライアント間の勾配割り当てを調整して協調的な公平性を実現することに重点を置いています。
ただし、ローカル モデル間での一貫性の維持や、貢献度の高いクライアントの多様な要件への対応など、重要な要素が見落とされることがよくあります。
この見落としにより、実際には公平性とモデルの精度の両方が必然的に低下します。
これらの問題に対処するために、理論的な収束保証に裏付けられた、協調的公平性のための動的なサブモデル割り当てを備えた新しいフェデレーテッド ラーニング フレームワークである FedSAC を提案します。
まず、個々のクライアントの貢献度に応じて報酬を調整することで公平性を確保する「境界付き協調的公平性（BCF）」の概念を提示します。
次に、BCF を実装するために、理論的に公平性が保証されたサブモデル割り当てモジュールを設計します。
このモジュールは、さまざまな重要なニューロンを含む高性能サブモデルを使用して、貢献度の高いクライアントにインセンティブを与え、それによってローカル モデル全体の一貫性を維持します。
3 番目に、サブモデルを適応的に集約するための動的集約モジュールをさらに開発し、低周波ニューロンの公平な処理を確保し、その結果全体的なモデルの精度を向上させます。
3 つの公開ベンチマークで行われた広範な実験により、FedSAC が公平性とモデル精度の両方ですべてのベースライン手法を上回ることが実証されました。
私たちは、この取り組みがフェデレーション ラーニングへの幅広いクライアントの参加を奨励するための重要な一歩であると考えています。
ソース コードは https://github.com/wangzihuixmu/FedSAC で入手できます。

要約(オリジナル)

Collaborative fairness stands as an essential element in federated learning to encourage client participation by equitably distributing rewards based on individual contributions. Existing methods primarily focus on adjusting gradient allocations among clients to achieve collaborative fairness. However, they frequently overlook crucial factors such as maintaining consistency across local models and catering to the diverse requirements of high-contributing clients. This oversight inevitably decreases both fairness and model accuracy in practice. To address these issues, we propose FedSAC, a novel Federated learning framework with dynamic Submodel Allocation for Collaborative fairness, backed by a theoretical convergence guarantee. First, we present the concept of ‘bounded collaborative fairness (BCF)’, which ensures fairness by tailoring rewards to individual clients based on their contributions. Second, to implement the BCF, we design a submodel allocation module with a theoretical guarantee of fairness. This module incentivizes high-contributing clients with high-performance submodels containing a diverse range of crucial neurons, thereby preserving consistency across local models. Third, we further develop a dynamic aggregation module to adaptively aggregate submodels, ensuring the equitable treatment of low-frequency neurons and consequently enhancing overall model accuracy. Extensive experiments conducted on three public benchmarks demonstrate that FedSAC outperforms all baseline methods in both fairness and model accuracy. We see this work as a significant step towards incentivizing broader client participation in federated learning. The source code is available at https://github.com/wangzihuixmu/FedSAC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google