Mitigating federated learning contribution allocation instability through randomized aggregation

要約

フェデレーテッド ラーニング (FL) は、協調的でプライバシーを保護する機械学習パラダイムであり、機密データを一元管理する必要がなく、堅牢なモデルの開発を可能にします。
フロリダ州における重要な課題は、多様な参加者からの寄付を公平かつ正確に配分することにあります。
不正確な割り当ては信頼を損ない、不当な報酬につながる可能性があるため、参加者は連盟に参加したり、連盟に積極的に貢献したりする動機を失う可能性があります。
これまでに、オークションベースのアプローチやシャプレー価値ベースの方法など、さまざまな報酬戦略が提案されており、後者は各参加者の貢献を定量化する手段を提供します。
しかし、これらの貢献評価方法の安定性を研究した研究はほとんどありません。
このペーパーでは、Shapley 値を使用した勾配ベースのモデル再構成手法を使用して寄与度を計算することに焦点を当てます。
まず、ベースラインの Shapley 値がクライアントの貢献を正確に反映しておらず、サイロ間のフェデレーションの参加者間で報酬の配分が不安定になることを示します。
次に、データ サンプリングを追加することでこれらの欠点を軽減する新しい手法である \textsc{FedRandom} を紹介し、フェデレーテッド ラーニングにおける貢献度評価の安定性を高める効果を示します。

要約(オリジナル)

Federated learning (FL) is a collaborative and privacy-preserving Machine Learning paradigm, allowing the development of robust models without the need to centralise sensitive data. A critical challenge in FL lies in fairly and accurately allocating contributions from diverse participants. Inaccurate allocation can undermine trust, lead to unfair compensation, and thus participants may lack the incentive to join or actively contribute to the federation. Various remuneration strategies have been proposed to date, including auction-based approaches and Shapley-value based methods, the latter offering a means to quantify the contribution of each participant. However, little to no work has studied the stability of these contribution evaluation methods. In this paper, we focus on calculating contributions using gradient-based model reconstruction techniques with Shapley values. We first show that baseline Shapley values do not accurately reflect clients’ contributions, leading to unstable reward allocations amongst participants in a cross-silo federation. We then introduce \textsc{FedRandom}, a new method that mitigates these shortcomings with additional data samplings, and show its efficacy at increasing the stability of contribution evaluation in federated learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google