FedFeat+: A Robust Federated Learning Framework Through Federated Aggregation and Differentially Private Feature-Based Classifier Retraining

要約

この論文では、FedFeat+フレームワークを提案します。これにより、特徴抽出を分類とはっきりと分離します。
2層のモデルトレーニングプロセスを開発します。ローカルトレーニングに続いて、クライアントは、最終的なローカルエポックからサーバーに機能抽出器から抽出されたいくつかの機能を送信します。
サーバーは、FEDAVGメソッドを使用してこれらのモデルを集約し、その後、共有機能を使用してグローバル分類器を再獲得します。
分類器再訓練プロセスは、データ分布の全体的な見解に関するモデルの理解を高め、多様なデータセット全体のより良い一般化を確保します。
この改善された一般化により、分類器は、その後のローカルトレーニングエポック中に特徴抽出器に適応的に影響を与えることができます。
差別的なプライバシーメカニズムの実装を通じて、モデルの精度の向上と個々のプライバシーを保護することとのバランスを確立します。
サーバーと共有される機能ベクトルにノイズを組み込むことにより、機密データが秘密になるようにします。
パフォーマンスの向上とプライバシーの保存に関する理論的推論とともに、包括的な収束分析を提示します。
CIFAR-10、CIFAR-100、MNIST、FMNISTを含むベンチマークデータセットで実施された経験的評価を通じてアプローチを検証し、厳しいプライバシー保証を順守しながら高い精度を達成します。
実験結果は、軽量の2層CNN分類器のみを使用しているにもかかわらず、FEDFEAT+フレームワークがIIDシナリオと非IIDシナリオの両方でFEDAVGメソッドを上回り、CIFAR-10、CIFAR-100、およびファッションミストデータセットで3.92％から12.34％の精度の改善を達成することを示しています。

要約(オリジナル)

In this paper, we propose the FedFeat+ framework, which distinctively separates feature extraction from classification. We develop a two-tiered model training process: following local training, clients transmit their weights and some features extracted from the feature extractor from the final local epochs to the server. The server aggregates these models using the FedAvg method and subsequently retrains the global classifier utilizing the shared features. The classifier retraining process enhances the model’s understanding of the holistic view of the data distribution, ensuring better generalization across diverse datasets. This improved generalization enables the classifier to adaptively influence the feature extractor during subsequent local training epochs. We establish a balance between enhancing model accuracy and safeguarding individual privacy through the implementation of differential privacy mechanisms. By incorporating noise into the feature vectors shared with the server, we ensure that sensitive data remains confidential. We present a comprehensive convergence analysis, along with theoretical reasoning regarding performance enhancement and privacy preservation. We validate our approach through empirical evaluations conducted on benchmark datasets, including CIFAR-10, CIFAR-100, MNIST, and FMNIST, achieving high accuracy while adhering to stringent privacy guarantees. The experimental results demonstrate that the FedFeat+ framework, despite using only a lightweight two-layer CNN classifier, outperforms the FedAvg method in both IID and non-IID scenarios, achieving accuracy improvements ranging from 3.92 % to 12.34 % across CIFAR-10, CIFAR-100, and Fashion-MNIST datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google