Cross-Silo Prototypical Calibration for Federated Learning with Non-IID Data

要約

Federated Learning は、さまざまなクライアントのローカル モデルを活用することで、プライバシーを保護しながらすべてのクライアントに一般化するグローバル モデルをサーバー側で学習することを目的としています。
既存のソリューションは、クライアント間で目的関数を正規化するか、モデル汎化機能を向上させるために集計メカニズムを改善することに重点を置いています。
ただし、そのパフォーマンスは通常、異種データの分布や欠落クラスなどのデータセットの偏りによって制限されます。
この問題に対処するために、この文書では、クライアントから追加のプロトタイプ情報を取得してサーバー側の統一された特徴空間を学習する、クロスサイロ プロトタイプ キャリブレーション手法 (FedCSPC) を紹介します。
具体的には、FedCSPC はまずデータ プロトタイプ モデリング (DPM) モジュールを使用して、クラスタリングを通じてデータ パターンを学習し、キャリブレーションを支援します。
続いて、クロスサイロ プロトタイプ キャリブレーション (CSPC) モジュールは、キャリブレーションの堅牢性を向上させるための拡張対比学習手法を開発します。これにより、明確な決定境界を維持しながら、クロスソースの特徴を一貫した空間に効果的に投影できます。
さらに、CSPC モジュールの実装の容易さとプラグ アンド プレイの特性により、CSPC モジュールはさらに注目に値します。
実験は、パフォーマンスの比較、アブレーション研究、詳細な分析、ケーススタディの観点から 4 つのデータセットに対して実施され、その結果、FedCSPC が、校正されたモデルの指導の下で、同じクラスの異なるデータ ソース間で一貫した特徴を学習できることが検証されました。
、これにより、最先端の方法よりも優れたパフォーマンスが得られます。
ソースコードは https://github.com/qizhuang-qz/FedCSPC で公開されています。

要約(オリジナル)

Federated Learning aims to learn a global model on the server side that generalizes to all clients in a privacy-preserving manner, by leveraging the local models from different clients. Existing solutions focus on either regularizing the objective functions among clients or improving the aggregation mechanism for the improved model generalization capability. However, their performance is typically limited by the dataset biases, such as the heterogeneous data distributions and the missing classes. To address this issue, this paper presents a cross-silo prototypical calibration method (FedCSPC), which takes additional prototype information from the clients to learn a unified feature space on the server side. Specifically, FedCSPC first employs the Data Prototypical Modeling (DPM) module to learn data patterns via clustering to aid calibration. Subsequently, the cross-silo prototypical calibration (CSPC) module develops an augmented contrastive learning method to improve the robustness of the calibration, which can effectively project cross-source features into a consistent space while maintaining clear decision boundaries. Moreover, the CSPC module’s ease of implementation and plug-and-play characteristics make it even more remarkable. Experiments were conducted on four datasets in terms of performance comparison, ablation study, in-depth analysis and case study, and the results verified that FedCSPC is capable of learning the consistent features across different data sources of the same class under the guidance of calibrated model, which leads to better performance than the state-of-the-art methods. The source codes have been released at https://github.com/qizhuang-qz/FedCSPC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google