Decentralized Learning over Wireless Networks: The Effect of Broadcast with Random Access

要約

この研究では、分散学習のコミュニケーションの側面に焦点を当てます。これには、分散データ上で分散確率勾配降下 (D-SGD) を使用して、複数のエージェントが共有機械学習モデルをトレーニングすることが含まれます。
特に、ワ​​イヤレス チャネルのブロードキャストの性質と通信トポロジにおけるリンク ダイナミクスを考慮して、ブロードキャスト送信と確率的ランダム アクセス ポリシーが D-SGD のコンバージェンス パフォーマンスに及ぼす影響を調査します。
私たちの結果は、アクセス確率を最適化して成功リンクの期待数を最大化することが、システムの収束を加速するための非常に効果的な戦略であることを示しています。

要約(オリジナル)

In this work, we focus on the communication aspect of decentralized learning, which involves multiple agents training a shared machine learning model using decentralized stochastic gradient descent (D-SGD) over distributed data. In particular, we investigate the impact of broadcast transmission and probabilistic random access policy on the convergence performance of D-SGD, considering the broadcast nature of wireless channels and the link dynamics in the communication topology. Our results demonstrate that optimizing the access probability to maximize the expected number of successful links is a highly effective strategy for accelerating the system convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google