Personalized federated learning based on feature fusion

要約

フェデレーション ラーニングを使用すると、分散したクライアントがデータをローカルに保存してクライアントのプライバシーを保護しながら、トレーニングで共同作業できるようになります。
ただし、データ、モデル、デバイスの異質性により、最終的なグローバル モデルは各クライアントのタスクのパフォーマンスを向上させる必要がある場合があります。
通信のボトルネック、データの異質性、モデルの異質性は、フェデレーション ラーニングにおける一般的な課題です。
この研究では、見落とされやすいデータの異質性の一種であるラベル分布のスキュー問題を検討しました。
分類のコンテキストでは、pFedPM と呼ばれるパーソナライズされた連合学習アプローチを提案します。
私たちのプロセスでは、従来の勾配アップロードを機能アップロードに置き換えます。これにより、通信コストが削減され、異種クライアント モデルが可能になります。
これらの特徴表現は、プライバシーをある程度保護する役割を果たします。
ハイパーパラメータ $a$ を使用してローカル機能とグローバル機能を混合し、パーソナライゼーションの程度を制御できるようにします。
また、追加の意思決定層としてリレーション ネットワークを導入しました。これは、ラベルを予測するための非線形学習可能な分類器を提供します。
実験結果は、 $a$ を適切に設定すると、私たちのスキームが MNIST、FEMNIST、および CRIFAR10 データセットに対するいくつかの最近の FL 手法よりも優れたパフォーマンスを発揮し、より少ない通信量を実現することを示しています。

要約(オリジナル)

Federated learning enables distributed clients to collaborate on training while storing their data locally to protect client privacy. However, due to the heterogeneity of data, models, and devices, the final global model may need to perform better for tasks on each client. Communication bottlenecks, data heterogeneity, and model heterogeneity have been common challenges in federated learning. In this work, we considered a label distribution skew problem, a type of data heterogeneity easily overlooked. In the context of classification, we propose a personalized federated learning approach called pFedPM. In our process, we replace traditional gradient uploading with feature uploading, which helps reduce communication costs and allows for heterogeneous client models. These feature representations play a role in preserving privacy to some extent. We use a hyperparameter $a$ to mix local and global features, which enables us to control the degree of personalization. We also introduced a relation network as an additional decision layer, which provides a non-linear learnable classifier to predict labels. Experimental results show that, with an appropriate setting of $a$, our scheme outperforms several recent FL methods on MNIST, FEMNIST, and CRIFAR10 datasets and achieves fewer communications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google