Mitigating System Bias in Resource Constrained Asynchronous Federated Learning Systems

要約

フェデレーテッド ラーニング (FL) システムは、異種デバイスやクライアント間で不均一に分散されたデータを処理する際にパフォーマンスの課題に直面しています。
これらの問題に対処するために、非同期フェデレーテッド ラーニング (AFL) 展開内で動的なグローバル モデル集約手法を提案します。
当社の集計方法では、デバイスの機能の違いに対応するために、アップロード頻度に基づいてクライアント モデルの更新の重み付けをスコアリングおよび調整します。
さらに、クライアントがローカル モデルをアップロードした後、更新されたグローバル モデルをすぐにクライアントに提供して、アイドル時間を削減し、トレーニングの効率を向上させます。
異種コンピューティング制約と非 IID データを持つ 10 台のシミュレートされたクライアントで構成される AFL デプロイメント内でアプローチを評価します。
FashionMNIST データセットを使用したシミュレーション結果は、最先端の手法である PAPAYA と FedAsync と比較して、グローバル モデルの精度がそれぞれ 10% および 19% 以上向上していることを示しています。
当社の動的集計手法により、クライアントのリソースや統計データの異質性が制限されているにもかかわらず、信頼性の高いグローバル モデルのトレーニングが可能になります。
これにより、実際の FL デプロイメントの堅牢性と拡張性が向上します。

要約(オリジナル)

Federated learning (FL) systems face performance challenges in dealing with heterogeneous devices and non-identically distributed data across clients. We propose a dynamic global model aggregation method within Asynchronous Federated Learning (AFL) deployments to address these issues. Our aggregation method scores and adjusts the weighting of client model updates based on their upload frequency to accommodate differences in device capabilities. Additionally, we also immediately provide an updated global model to clients after they upload their local models to reduce idle time and improve training efficiency. We evaluate our approach within an AFL deployment consisting of 10 simulated clients with heterogeneous compute constraints and non-IID data. The simulation results, using the FashionMNIST dataset, demonstrate over 10% and 19% improvement in global model accuracy compared to state-of-the-art methods PAPAYA and FedAsync, respectively. Our dynamic aggregation method allows reliable global model training despite limiting client resources and statistical data heterogeneity. This improves robustness and scalability for real-world FL deployments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google