Analog-digital Scheduling for Federated Learning: A Communication-Efficient Approach

要約

OTA（Over-the-Air）計算は、無線ネットワーク上で機械学習モデルを学習するための通信効率の高いFL（Federated Learning）パラダイムとして最近登場した。しかし、その性能は、SNRが最も悪いデバイスによって制限され、高速でありながらノイズの多い更新となる。一方、直交リソースブロック（RB）をデジタルチャネルを介して個々のデバイスに割り当てることで、ノイズの問題は軽減されるが、その代償として通信待ち時間が増加する。本論文では、この矛盾に対処し、新しいアナログ-デジタルFL方式であるADFLを提案する。各ラウンドにおいて、パラメータサーバー（PS）は、アナログOTA方式で勾配をアップロードするか、「デジタル」方式で直交RBを介して量子化勾配を送信するかのどちらかを各デバイスにスケジューリングする。単一のFLラウンドに焦点を当て、遅延制約のもとで、PSにおける推定グローバル勾配の平均二乗誤差（MSE）の最小化として最適スケジューリング問題をキャストし、デジタルデバイスの最適なデバイススケジューリング構成と量子化ビットを得る。シミュレーションの結果、ADFLは、ほとんどのデバイスをOTA方式でスケジューリングし、時折いくつかのデバイスにデジタル方式を採用することで、i.i.d.および非i.i.d.設定の両方で、OTA方式のみおよびデジタル方式のみの方式を一貫して上回ることが示された。

要約(オリジナル)

Over-the-air (OTA) computation has recently emerged as a communication-efficient Federated Learning (FL) paradigm to train machine learning models over wireless networks. However, its performance is limited by the device with the worst SNR, resulting in fast yet noisy updates. On the other hand, allocating orthogonal resource blocks (RB) to individual devices via digital channels mitigates the noise problem, at the cost of increased communication latency. In this paper, we address this discrepancy and present ADFL, a novel Analog-Digital FL scheme: in each round, the parameter server (PS) schedules each device to either upload its gradient via the analog OTA scheme or transmit its quantized gradient over an orthogonal RB using the “digital’ scheme. Focusing on a single FL round, we cast the optimal scheduling problem as the minimization of the mean squared error (MSE) on the estimated global gradient at the PS, subject to a delay constraint, yielding the optimal device scheduling configuration and quantization bits for the digital devices. Our simulation results show that ADFL, by scheduling most of the devices in the OTA scheme while also occasionally employing the digital scheme for a few devices, consistently outperforms OTA-only and digital-only schemes, in both i.i.d. and non-i.i.d. settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL