FedDRL: A Trustworthy Federated Learning Model Fusion Method Based on Staged Reinforcement Learning

要約

従来のフェデレーテッド ラーニングでは、サンプル数を使用して各クライアント モデルの重みを計算し、この固定の重み値を使用してグローバル モデルを融合します。
ただし、実際のシナリオでは、各クライアントのデバイスとデータの異質性により、各クライアントのモデルの品質に違いが生じます。
したがって、グローバル モデルへの寄与はサンプル サイズによって完全に決まるわけではありません。
さらに、クライアントが意図的に低品質または悪意のあるモデルをアップロードした場合、これらのモデルを集約に使用すると、グローバル モデルの精度が大幅に低下することになります。
従来のフェデレーテッド ラーニング アルゴリズムでは、これらの問題には対処できません。
この問題を解決するために、我々は 2 段階のアプローチに基づく強化学習を使用したモデル融合アプローチである FedDRL を提案します。
最初の段階では、私たちの方法は悪意のあるモデルをフィルタリングして除外し、モデルの融合に参加する信頼できるクライアント モデルを選択します。
第 2 段階では、FedDRL アルゴリズムが信頼できるクライアント モデルの重みを適応的に調整し、最適なグローバル モデルを集約します。
また、5 つのモデル融合シナリオを定義し、それらのシナリオにおける 2 つのベースライン アルゴリズムと私たちの方法を比較します。
実験結果は、私たちのアルゴリズムが精度を維持しながら他のアルゴリズムよりも高い信頼性を持っていることを示しています。

要約(オリジナル)

Traditional federated learning uses the number of samples to calculate the weights of each client model and uses this fixed weight value to fusion the global model. However, in practical scenarios, each client’s device and data heterogeneity leads to differences in the quality of each client’s model. Thus the contribution to the global model is not wholly determined by the sample size. In addition, if clients intentionally upload low-quality or malicious models, using these models for aggregation will lead to a severe decrease in global model accuracy. Traditional federated learning algorithms do not address these issues. To solve this probelm, we propose FedDRL, a model fusion approach using reinforcement learning based on a two staged approach. In the first stage, Our method could filter out malicious models and selects trusted client models to participate in the model fusion. In the second stage, the FedDRL algorithm adaptively adjusts the weights of the trusted client models and aggregates the optimal global model. We also define five model fusion scenarios and compare our method with two baseline algorithms in those scenarios. The experimental results show that our algorithm has higher reliability than other algorithms while maintaining accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google