SCAFFLSA: Quantifying and Eliminating Heterogeneity Bias in Federated Linear Stochastic Approximation and Temporal Difference Learning

要約

この論文では、連合線形確率近似 (FedLSA) アルゴリズムの非漸近分析を実行します。
異種エージェントを使用したローカル トレーニングによって導入されたバイアスを明示的に定量化し、アルゴリズムのサンプルの複雑さを調査します。
FedLSA の通信の複雑さは、望ましい精度 $\epsilon$ で多項式にスケールされ、フェデレーションの利点が制限されることを示します。
これを克服するために、我々は FedLSA の新しい変種である SCAFFLSA を提案します。これは、制御変量を使用してローカル トレーニングの偏りを修正し、統計的不均一性を仮定せずにその収束を証明します。
提案された方法論を線形関数近似による連合時間差分学習に適用し、対応する複雑さの改善を分析します。

要約(オリジナル)

In this paper, we perform a non-asymptotic analysis of the federated linear stochastic approximation (FedLSA) algorithm. We explicitly quantify the bias introduced by local training with heterogeneous agents, and investigate the sample complexity of the algorithm. We show that the communication complexity of FedLSA scales polynomially with the desired precision $\epsilon$, which limits the benefits of federation. To overcome this, we propose SCAFFLSA, a novel variant of FedLSA, that uses control variates to correct the bias of local training, and prove its convergence without assumptions on statistical heterogeneity. We apply the proposed methodology to federated temporal difference learning with linear function approximation, and analyze the corresponding complexity improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google