Accelerating Wireless Federated Learning via Nesterov’s Momentum and Distributed Principle Component Analysis

要約

【タイトル】 Nesterovの勢いと分散プリンシパルコンポーネント分析による無線フェデレーテッド学習の高速化

【要約】
– 非符号化情報を直交する無線チャンネルを通じてサーバーとワーカーが情報を交換することで、無線フェデレーテッド学習システムを調査する。
– ワーカーは頻繁に帯域幅制限チャンネルを介してローカル勾配をサーバーにアップロードするため、ワーカーからサーバーへのアップリンク伝送はコミュニケーションのボトルネックとなる。
– そのため、1回の分散プリンシパルコンポーネント分析（PCA）を利用して、アップロードされる勾配の次元を削減し、コミュニケーションのボトルネックを緩和する。
– 低次元勾配とNesterovの勢いに基づいてPCAベースの無線フェデレーテッド学習（PCA-WFL）アルゴリズムとその加速版（PCA-AWFL）を提案する。
– 非凸損失関数に対して、システムのハイパーパラメータの収束に及ぼす影響を定量化するために、有限時間分析を実行する。
– PCA-AWFLアルゴリズムが、PCA-WFLアルゴリズムよりもより早く収束することが理論的に保証されている。
– PCA-WFLおよびPCA-AWFLアルゴリズムの収束速度は、バニラ勾配降下アルゴリズムを超えて、労働者の数に対する直線的なスピードアップを定量的に示す。
– 提案されたPCA-WFLおよびPCA-AWFLアルゴリズムの収束速度の改善をベンチマークに対して数値的にデモンストレーションする。

要約(オリジナル)

A wireless federated learning system is investigated by allowing a server and workers to exchange uncoded information via orthogonal wireless channels. Since the workers frequently upload local gradients to the server via bandwidth-limited channels, the uplink transmission from the workers to the server becomes a communication bottleneck. Therefore, a one-shot distributed principle component analysis (PCA) is leveraged to reduce the dimension of uploaded gradients such that the communication bottleneck is relieved. A PCA-based wireless federated learning (PCA-WFL) algorithm and its accelerated version (i.e., PCA-AWFL) are proposed based on the low-dimensional gradients and the Nesterov’s momentum. For the non-convex loss functions, a finite-time analysis is performed to quantify the impacts of system hyper-parameters on the convergence of the PCA-WFL and PCA-AWFL algorithms. The PCA-AWFL algorithm is theoretically certified to converge faster than the PCA-WFL algorithm. Besides, the convergence rates of PCA-WFL and PCA-AWFL algorithms quantitatively reveal the linear speedup with respect to the number of workers over the vanilla gradient descent algorithm. Numerical results are used to demonstrate the improved convergence rates of the proposed PCA-WFL and PCA-AWFL algorithms over the benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI