FedDisco: Federated Learning with Discrepancy-Aware Collaboration

要約

この研究では、フェデレーテッド ラーニングにおけるカテゴリ分布の不均一性を考慮しています。
この問題は、複数のクライアントでの偏ったラベル設定が原因であり、データの異質性の典型的な設定です。
この問題を軽減するために、これまでのほとんどの研究では、ローカル モデルの正規化またはグローバル モデルの微調整のいずれかを検討していましたが、集計の重みの調整は無視され、データセットのサイズに基づいて重みを単純に割り当てられていました。
しかし、経験的観察と理論的分析に基づくと、データセットのサイズは最適ではなく、ローカルとグローバルのカテゴリ分布間の不一致が、集計の重みを決定するための有益で補完的な指標となる可能性があることがわかりました。
そこで、我々は、新しい集計手法である Federated Learning with Discrepancy-aware Collaboration (FedDisco) を提案します。この手法の集計の重みには、データセットのサイズと相違値の両方が含まれるだけでなく、最適化誤差の理論上の上限の厳格化にも寄与します。
FedDisco は、モジュール性だけでなく、プライバシーの保護、通信と計算の効率も促進します。
広範な実験により、当社の FedDisco はいくつかの最先端の方法よりも優れたパフォーマンスを示し、多くの既存の方法と簡単に組み込んでパフォーマンスをさらに向上させることができることが示されています。
私たちのコードは https://github.com/MediaBrain-SJTU/FedDisco で入手できます。

要約(オリジナル)

This work considers the category distribution heterogeneity in federated learning. This issue is due to biased labeling preferences at multiple clients and is a typical setting of data heterogeneity. To alleviate this issue, most previous works consider either regularizing local models or fine-tuning the global model, while they ignore the adjustment of aggregation weights and simply assign weights based on the dataset size. However, based on our empirical observations and theoretical analysis, we find that the dataset size is not optimal and the discrepancy between local and global category distributions could be a beneficial and complementary indicator for determining aggregation weights. We thus propose a novel aggregation method, Federated Learning with Discrepancy-aware Collaboration (FedDisco), whose aggregation weights not only involve both the dataset size and the discrepancy value, but also contribute to a tighter theoretical upper bound of the optimization error. FedDisco also promotes privacy-preservation, communication and computation efficiency, as well as modularity. Extensive experiments show that our FedDisco outperforms several state-of-the-art methods and can be easily incorporated with many existing methods to further enhance the performance. Our code will be available at https://github.com/MediaBrain-SJTU/FedDisco.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google