CYCle: Choosing Your Collaborators Wisely to Enhance Collaborative Fairness in Decentralized Learning

要約

協調学習 (CL) を使用すると、複数の参加者が生データを共有することなく、分散データ ソース上で機械学習 (ML) モデルを共同でトレーニングできます。
CL の主な目的は、各参加者に期待される精度の向上を最大化することですが、その向上が公平に分散されていることを確認することも重要です。
具体的には、どのクライアントもコラボレーションによって悪影響を受けてはならず、理想的には個人の利益が貢献に見合ったものでなければなりません。
既存の CL アルゴリズムのほとんどは中央調整を必要とし、協調的な公平性を無視してゲイン最大化の目標に重点を置いています。
この研究では、まず、コラボレーションの有無による精度値間の相関に基づいたコラボレーションの公平性の既存の尺度には、マイナスのコラボレーション利得が考慮されていないため、欠点があることを示します。
私たちは、平均コラボレーション ゲイン (MCG) を最大化し、同時にコラボレーション ゲイン スプレッド (CGS) を最小化することが、より公平な選択肢であると主張します。
次に、プライベート分散学習 (PDL) フレームワークの個々の参加者が、ローカルクロスエントロピーと蒸留損失の間の勾配調整に基づく新しい評判スコアリング方法を通じてこの目的を達成できるようにする CYCle プロトコルを提案します。
CIFAR-10、CIFAR-100、および Fed-ISIC2019 データセットの実験では、参加者のデータ分布が大きく偏っている場合でも、すべての参加者にとって積極的かつ公平なコラボレーションの利益を確保する CYCle プロトコルの有効性が実証的に実証されています。
2 人の参加者による単純な平均推定問題については、特に統計的不均一性が大きい場合に、CYCle が標準の FedAvg よりも優れたパフォーマンスを発揮することも理論的に示しています。

要約(オリジナル)

Collaborative learning (CL) enables multiple participants to jointly train machine learning (ML) models on decentralized data sources without raw data sharing. While the primary goal of CL is to maximize the expected accuracy gain for each participant, it is also important to ensure that the gains are fairly distributed. Specifically, no client should be negatively impacted by the collaboration, and the individual gains must ideally be commensurate with the contributions. Most existing CL algorithms require central coordination and focus on the gain maximization objective while ignoring collaborative fairness. In this work, we first show that the existing measure of collaborative fairness based on the correlation between accuracy values without and with collaboration has drawbacks because it does not account for negative collaboration gain. We argue that maximizing mean collaboration gain (MCG) while simultaneously minimizing the collaboration gain spread (CGS) is a fairer alternative. Next, we propose the CYCle protocol that enables individual participants in a private decentralized learning (PDL) framework to achieve this objective through a novel reputation scoring method based on gradient alignment between the local cross-entropy and distillation losses. Experiments on the CIFAR-10, CIFAR-100, and Fed-ISIC2019 datasets empirically demonstrate the effectiveness of the CYCle protocol to ensure positive and fair collaboration gain for all participants, even in cases where the data distributions of participants are highly skewed. For the simple mean estimation problem with two participants, we also theoretically show that CYCle performs better than standard FedAvg, especially when there is large statistical heterogeneity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google