Learn What You Need in Personalized Federated Learning

要約

パーソナライズされたフェデレーション ラーニングは、フェデレーテッド ラーニングにおけるローカル クライアント間のデータの不均一性に対処することを目的としています。
ただし、現在の方法では、パーソナライズされたフェデレーテッド ラーニングに完全なモデル パラメーターまたは事前定義された部分パラメーターのいずれかを盲目的に組み込んでいます。
各ローカル クライアントのデータ特性に応じてコラボレーション方法をカスタマイズできず、不快な集計結果が発生します。
この本質的な問題に対処するために、私たちは $\textit{Learn2pFed}$ を提案します。これは新しいアルゴリズム展開ベースのパーソナライズされたフェデレーテッド ラーニング フレームワークで、各クライアントがローカル モデル パラメーターのどの部分を協調トレーニングに参加させるかを適応的に選択できるようにします。
提案された $\textit{Learn2pFed}$ の重要な新しさは、アルゴリズム展開手法を介して、各ローカル モデル パラメーターの共同参加者の度合いを学習可能なパラメーターとして最適化することです。
このアプローチには 2 つの利点があります。1) フェデレーション コラボレーションにおけるローカル モデル パラメーターの参加度を数学的に決定すること、2) より安定した改善されたソリューションが得られることです。
回帰、予測、画像分類などのさまざまなタスクに関する広範な実験により、$\textit{Learn2pFed}$ が以前のパーソナライズされたフェデレーション学習メソッドよりも大幅に優れていることが実証されました。

要約(オリジナル)

Personalized federated learning aims to address data heterogeneity across local clients in federated learning. However, current methods blindly incorporate either full model parameters or predefined partial parameters in personalized federated learning. They fail to customize the collaboration manner according to each local client’s data characteristics, causing unpleasant aggregation results. To address this essential issue, we propose $\textit{Learn2pFed}$, a novel algorithm-unrolling-based personalized federated learning framework, enabling each client to adaptively select which part of its local model parameters should participate in collaborative training. The key novelty of the proposed $\textit{Learn2pFed}$ is to optimize each local model parameter’s degree of participant in collaboration as learnable parameters via algorithm unrolling methods. This approach brings two benefits: 1) mathmatically determining the participation degree of local model parameters in the federated collaboration, and 2) obtaining more stable and improved solutions. Extensive experiments on various tasks, including regression, forecasting, and image classification, demonstrate that $\textit{Learn2pFed}$ significantly outperforms previous personalized federated learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google