Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated Learning

要約

【タイトル】
Federated Learningにおける忘却を制御するための重みづけされたSoftmax Cross-Entropy

【要約】
・Federated Learningでは、独立したクライアントノードで計算されたモデルの更新を集約してグローバルモデルを学習するが、通信コストを削減するために集約前に各ノードで複数の勾配ステップを実行する。
・この設定の中での主要な課題は、クライアントごとに異なるローカル目標があるため、クライアントが自分自身のローカル目標を過剰に最小化し、グローバルな解から逸脱することができること。
・個々のクライアントモデルは他のクライアントからのデータについて過去忘却を経験していることを示し、クラス外の表現変化を急激に防ぐためにsoftmax logitsの再重み付けを行うことでクライアントごとのCross-Entropy目的関数を変更する効率的なアプローチを提案する。
・この手法はクライアントの忘却を和らげ、標準的なFederated Learningアルゴリズムに一貫した改善を提供できることを実験的に示す。
・この方法は、データの異質性が高く、各ラウンドのクライアントの参加が少ない最も難しいFederated Learning設定で特に有益である。

要約(オリジナル)

In Federated Learning, a global model is learned by aggregating model updates computed at a set of independent client nodes, to reduce communication costs multiple gradient steps are performed at each node prior to aggregation. A key challenge in this setting is data heterogeneity across clients resulting in differing local objectives which can lead clients to overly minimize their own local objective, diverging from the global solution. We demonstrate that individual client models experience a catastrophic forgetting with respect to data from other clients and propose an efficient approach that modifies the cross-entropy objective on a per-client basis by re-weighting the softmax logits prior to computing the loss. This approach shields classes outside a client’s label set from abrupt representation change and we empirically demonstrate it can alleviate client forgetting and provide consistent improvements to standard federated learning algorithms. Our method is particularly beneficial under the most challenging federated learning settings where data heterogeneity is high and client participation in each round is low.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI