Personalized Federated Learning with Local Attention

要約

タイトル：ローカルアテンションを用いた個人化フェデレーテッドラーニング

要約：
– フェデレーテッドラーニング（FL）は、中央サーバーがローカルなクライアントのデータにアクセスせずにモデルのトレーニングを支援できるように、単一のグローバルモデルを学習することを目指しています。
– FLの主要な課題は、異なるクライアントのローカルデータの異質性であり、ラベル分布の異質性や特徴シフトなどが学習モデルの性能低下につながる可能性があります。
– このような問題を解決するために、個人化フェデレーテッドラーニングにローカルアテンション（pFedLA）を組み合わせたシンプルかつ効果的なアルゴリズムを提案しています。
– pFedLAは、クライアント固有のアテンションブロックを保持しながら、個人化モデルにアテンションメカニズムを組み込むことで機能します。
– pFedLAには、個人化シングルアテンションモジュールと個人化ハイブリッドアテンションモジュールの2つのモジュールがあります。
– 提案されたpFedLA手法は、通信コストを導入することなく、任意のFL手法に組み込まれてパフォーマンスを向上させることができるため、非常に柔軟で汎用的です。
– 大規模な実験により、提案されたpFedLA手法は、画像分類や物体検出などの異なるタスクで、最先端のFL手法のパフォーマンスを向上させることができることが示されました。

要約(オリジナル)

Federated Learning (FL) aims to learn a single global model that enables the central server to help the model training in local clients without accessing their local data. The key challenge of FL is the heterogeneity of local data in different clients, such as heterogeneous label distribution and feature shift, which could lead to significant performance degradation of the learned models. Although many studies have been proposed to address the heterogeneous label distribution problem, few studies attempt to explore the feature shift issue. To address this issue, we propose a simple yet effective algorithm, namely \textbf{p}ersonalized \textbf{Fed}erated learning with \textbf{L}ocal \textbf{A}ttention (pFedLA), by incorporating the attention mechanism into personalized models of clients while keeping the attention blocks client-specific. Specifically, two modules are proposed in pFedLA, i.e., the personalized single attention module and the personalized hybrid attention module. In addition, the proposed pFedLA method is quite flexible and general as it can be incorporated into any FL method to improve their performance without introducing additional communication costs. Extensive experiments demonstrate that the proposed pFedLA method can boost the performance of state-of-the-art FL methods on different tasks such as image classification and object detection tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI