Learning to Transmit with Provable Guarantees in Wireless Federated Learning

要約

タイトル：無線フェデレーティッド学習におけるプルーバブルな保証付き伝送学習の習得

要約：

– FLの過程でワイヤレスチャネルが変化している場合や、また、トレーニングデータが局所デバイスにおいて独立でない（non-i.i.d.）場合に有用な新しいデータ駆動型のアプローチが提案されている。
– 理論的には、作成された問題にはゼロの双対性ギャップがあることが示され、一旦パラメータ化された伝送ポリシーがあれば、最適性はこのパラメータ化の表現力に依存する。
– 提案された電力割り当てポリシーはグラフ畳み込みネットワークを用いてパラメータ化され、関連する制約付き最適化問題はプライマル・デュアル（PD）アルゴリズムを用いて解決される。
– 提案手法は、異なるワイヤレスチャネル設定やデータの異質性の程度において既存のベースラインを上回る結果を示す。最終的に目的は、トレーニングされているグローバルFLモデルの精度と効率を向上させることである。

要約(オリジナル)

We propose a novel data-driven approach to allocate transmit power for federated learning (FL) over interference-limited wireless networks. The proposed method is useful in challenging scenarios where the wireless channel is changing during the FL training process and when the training data are not independent and identically distributed (non-i.i.d.) on the local devices. Intuitively, the power policy is designed to optimize the information received at the server end during the FL process under communication constraints. Ultimately, our goal is to improve the accuracy and efficiency of the global FL model being trained. The proposed power allocation policy is parameterized using a graph convolutional network and the associated constrained optimization problem is solved through a primal-dual (PD) algorithm. Theoretically, we show that the formulated problem has zero duality gap and, once the power policy is parameterized, optimality depends on how expressive this parameterization is. Numerically, we demonstrate that the proposed method outperforms existing baselines under different wireless channel settings and varying degrees of data heterogeneity.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI