Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method

要約

クロスデバイス フェデレーテッド ラーニング (FL) は、複数のエッジ デバイスが生データを公開せずに連携してモデルをトレーニングする、機械学習設定として成長を続けています。
多数のモバイル デバイスがワイヤレス環境を介してより多くの FL アプリケーションに参加すると、デバイスのアップリンク容量が制限されるため、これらのアプリケーションの実際の実装が妨げられ、重大なボトルネックが発生します。
この研究では、通信の長いベクトルをスカラー値に置き換え、無線通信チャネルの性質を利用して、情報を知る必要性を克服する、1 点勾配推定器を備えた、二重に通信効率の高い新しいゼロ次 (ZO) 方法を提案します。
チャネル状態係数。
これは、無線チャネルを分析してその影響を除去するためにリソースを無駄にするのではなく、学習アルゴリズム自体に無線チャネルを組み込む最初の方法です。
次に、提案されているゼロ次連合学習 (ZOFL) フレームワークの徹底的な分析を提供し、私たちの方法が \textit{ほぼ確実に}収束することを証明します。これは、非凸 ZO 最適化における新しい結果です。
さらに、非凸設定での収束率が $O(\frac{1}{\sqrt[3]{K}})$ であることを証明します。
最後に、アルゴリズムの可能性を実験結果で実証します。

要約(オリジナル)

Cross-device federated learning (FL) is a growing machine learning setting whereby multiple edge devices collaborate to train a model without disclosing their raw data. With the great number of mobile devices participating in more FL applications via the wireless environment, the practical implementation of these applications will be hindered due to the limited uplink capacity of devices, causing critical bottlenecks. In this work, we propose a novel doubly communication-efficient zero-order (ZO) method with a one-point gradient estimator that replaces communicating long vectors with scalar values and that harnesses the nature of the wireless communication channel, overcoming the need to know the channel state coefficient. It is the first method that includes the wireless channel in the learning algorithm itself instead of wasting resources to analyze it and remove its impact. We then offer a thorough analysis of the proposed zero-order federated learning (ZOFL) framework and prove that our method converges \textit{almost surely}, which is a novel result in nonconvex ZO optimization. We further prove a convergence rate of $O(\frac{1}{\sqrt[3]{K}})$ in the nonconvex setting. We finally demonstrate the potential of our algorithm with experimental results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google