Optimizing Personalized Federated Learning through Adaptive Layer-Wise Learning

要約

Federated Learning（FL）の実際の展開は、多くの場合、非IIDデータに直面しているため、精度が低下し、収束が遅くなります。
パーソナライズされたFL（PFL）は、ローカルモデルを個々のデータソースに調整し、クライアント固有の学習のために加重集約方法を使用することにより、これらの問題に取り組みます。
ただし、既存のPFLメソッドは、低い計算オーバーヘッドを維持しながら、各ローカルモデルにグローバルな知識を需要のあるグローバルな知識を提供することに失敗することがよくあります。
さらに、ローカルモデルは、トレーニングプロセス中にデータを過剰に整合する傾向があり、以前に獲得したグローバル情報を削除する可能性があります。
ローカルモデルのパーソナライズパフォーマンスを最適化するPFLの新しい層ごとの学習方法であるFlayerを提案します。
Flayerは、個々のローカルモデルのニューラルネットワーク層のさまざまな役割と学習能力を考慮します。
ローカルモデルを費用対効果に初期化するために、必要に応じて各ローカルモデルのグローバル情報が組み込まれています。
次に、ローカルトレーニング中に各レイヤーの学習レートを動的に調整し、各ローカルモデルのパーソナライズされた学習プロセスを最適化しながら、グローバルな知識を維持します。
さらに、PFLのグローバル表現を強化するために、Flayerはレイヤーごとの方法でグローバル集約のパラメーターを選択的にアップロードします。
コンピュータービジョンと自然言語処理ドメインの4つの代表的なデータセットでFlayerを評価します。
6つの最先端のPFLメソッドと比較して、フレイヤーは平均して5.40 \％（最大14.29 \％）で推論の精度を改善します。

要約(オリジナル)

Real-life deployment of federated Learning (FL) often faces non-IID data, which leads to poor accuracy and slow convergence. Personalized FL (pFL) tackles these issues by tailoring local models to individual data sources and using weighted aggregation methods for client-specific learning. However, existing pFL methods often fail to provide each local model with global knowledge on demand while maintaining low computational overhead. Additionally, local models tend to over-personalize their data during the training process, potentially dropping previously acquired global information. We propose FLAYER, a novel layer-wise learning method for pFL that optimizes local model personalization performance. FLAYER considers the different roles and learning abilities of neural network layers of individual local models. It incorporates global information for each local model as needed to initialize the local model cost-effectively. It then dynamically adjusts learning rates for each layer during local training, optimizing the personalized learning process for each local model while preserving global knowledge. Additionally, to enhance global representation in pFL, FLAYER selectively uploads parameters for global aggregation in a layer-wise manner. We evaluate FLAYER on four representative datasets in computer vision and natural language processing domains. Compared to six state-of-the-art pFL methods, FLAYER improves the inference accuracy, on average, by 5.40\% (up to 14.29\%).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google