Federated Skewed Label Learning with Logits Fusion

要約

フェデレーテッド ラーニング (FL) は、ローカル データを送信せずに、複数のクライアント間で共有モデルを共同でトレーニングすることを目的としています。
データの異質性は、ローカル モデル間の最適化の不一致により大幅なパフォーマンスの低下を引き起こすため、現実的な FL 設定では重大な課題です。
この研究では、データの異質性における一般的なシナリオである、各クライアントでデータ ラベルのカテゴリが不均衡であるラベル配布のスキューに焦点を当てます。
この問題に対処するために、ローカル モデル間のロジットを調整することで最適化バイアスを修正する FedBalance を提案します。
具体的には、クライアント側に追加のプライベート弱学習器を導入し、ローカル モデルとアンサンブル モデルを形成します。
2 つのモデルのロジットを融合することにより、プライベート弱学習器は、カテゴリに関係なく、さまざまなデータの分散を取得できます。
したがって、少数クラスの誤分類に対するペナルティを増やし、多数クラスへの注意を減らすことによって、ローカル モデルの最適化の方向性を改善することができ、その結果、より良いグローバル モデルが得られます。
広範な実験により、私たちの方法は最先端の方法と比較して 13\% 高い平均精度を得ることができることが示されています。

要約(オリジナル)

Federated learning (FL) aims to collaboratively train a shared model across multiple clients without transmitting their local data. Data heterogeneity is a critical challenge in realistic FL settings, as it causes significant performance deterioration due to discrepancies in optimization among local models. In this work, we focus on label distribution skew, a common scenario in data heterogeneity, where the data label categories are imbalanced on each client. To address this issue, we propose FedBalance, which corrects the optimization bias among local models by calibrating their logits. Specifically, we introduce an extra private weak learner on the client side, which forms an ensemble model with the local model. By fusing the logits of the two models, the private weak learner can capture the variance of different data, regardless of their category. Therefore, the optimization direction of local models can be improved by increasing the penalty for misclassifying minority classes and reducing the attention to majority classes, resulting in a better global model. Extensive experiments show that our method can gain 13\% higher average accuracy compared with state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google