TACO: Tackling Over-correction in Federated Learning with Tailored Adaptive Correction

要約

エッジクライアント全体で非依存性と同一に分散された（非IID）データは、エッジコンピューティング環境でのフェデレートラーニング（FL）トレーニングに重大な課題をもたらしてきました。
以前の作品は、この統計的不均一性を軽減するためのさまざまな方法を提案しています。
これらの作品は優れた理論的パフォーマンスを実現できますが、この作業では、既存の方法で採用されたクライアント全体で均一なモデル補正係数によってもたらされる隠された過補正現象に関する最初の調査を提供します。
このような過補正は、モデルのパフォーマンスを低下させ、モデルの収束に障害を引き起こす可能性さえあります。
これに対処するために、クライアント固有の勾配補正とモデル集約を実装することにより、クライアントのデータの非IID性に対処する新しいアルゴリズムであるTacoを提案し、ローカルモデルをより正確なグローバルオプティムに向けて操縦します。
さらに、主要なFLアルゴリズムは、クライアントに課される追加の計算オーバーヘッドに起因する、壁1杯ではなく、通信ラウンドに関して一般にモデルの精度が優れていることを確認します。
トレーニング効率を向上させるために、Tacoは、最小計算オーバーヘッドと同期モデルパラメーターを超えた追加情報を必要としない軽量モデルの補正とテーラード集約アプローチを展開します。
Tacoの有効性を検証するために、過補正の根本原因を明らかにする最初のFL収束分析を提示します。
さまざまなデータセットにわたる広範な実験では、実際のタコスの優れたパフォーマンスと安定したパフォーマンスが確認されています。

要約(オリジナル)

Non-independent and identically distributed (Non-IID) data across edge clients have long posed significant challenges to federated learning (FL) training in edge computing environments. Prior works have proposed various methods to mitigate this statistical heterogeneity. While these works can achieve good theoretical performance, in this work we provide the first investigation into a hidden over-correction phenomenon brought by the uniform model correction coefficients across clients adopted by existing methods. Such over-correction could degrade model performance and even cause failures in model convergence. To address this, we propose TACO, a novel algorithm that addresses the non-IID nature of clients’ data by implementing fine-grained, client-specific gradient correction and model aggregation, steering local models towards a more accurate global optimum. Moreover, we verify that leading FL algorithms generally have better model accuracy in terms of communication rounds rather than wall-clock time, resulting from their extra computation overhead imposed on clients. To enhance the training efficiency, TACO deploys a lightweight model correction and tailored aggregation approach that requires minimum computation overhead and no extra information beyond the synchronized model parameters. To validate TACO’s effectiveness, we present the first FL convergence analysis that reveals the root cause of over-correction. Extensive experiments across various datasets confirm TACO’s superior and stable performance in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google