Digital Over-the-Air Federated Learning in Multi-Antenna Systems

要約

この論文では、デジタル変調と無線計算 (AirComp) を備えた現実的な無線多入力多出力 (MIMO) 通信システム上に展開された場合のフェデレーテッド ラーニング (FL) のパフォーマンスの最適化について研究します。
特に、エッジ デバイスがビームフォーミングを使用してローカル FL モデル (ローカルに収集されたデータを使用してトレーニングされた) をパラメータ サーバー (PS) に送信し、送信がスケジュールされているデバイスの数を最大化する MIMO システムが考慮されます。
PS は中央コントローラとして機能し、受信したローカル FL モデルを使用してグローバル FL モデルを生成し、それをすべてのデバイスにブロードキャストします。
ワイヤレス ネットワークの帯域幅は限られているため、効率的なワイヤレス データ アグリゲーションを可能にするために AirComp が採用されています。
ただし、ワイヤレス チャネルのフェージングにより、AirComp ベースの FL 方式で集合的な歪みが発生する可能性があります。
この課題に取り組むために、デジタル変調と AirComp を組み合わせて、通信効率を確保しながら無線フェージングを軽減する修正連合平均化 (FedAvg) アルゴリズムを提案します。
これは、送信エラーを最小限に抑えて FL パフォーマンスを確保するために、現在の FL モデル パラメーターに基づいてビームフォーミング マトリックスを動的に調整する最適化問題として定式化された、送信および受信の共同ビームフォーミング設計によって実現されます。
この目標を達成するために、まずビームフォーミング行列がさまざまな反復で FedAvg のパフォーマンスにどのような影響を与えるかを分析的に特徴付けます。
この関係に基づいて、人工ニューラル ネットワーク (ANN) を使用して、すべてのデバイスのローカル FL モデルを推定し、将来のモデル送信に備えて PS でのビームフォーミング マトリックスを調整します。
提案された方法論のアルゴリズム上の利点とパフォーマンスの向上は、広範な数値実験を通じて実証されています。

要約(オリジナル)

In this paper, the performance optimization of federated learning (FL), when deployed over a realistic wireless multiple-input multiple-output (MIMO) communication system with digital modulation and over-the-air computation (AirComp) is studied. In particular, a MIMO system is considered in which edge devices transmit their local FL models (trained using their locally collected data) to a parameter server (PS) using beamforming to maximize the number of devices scheduled for transmission. The PS, acting as a central controller, generates a global FL model using the received local FL models and broadcasts it back to all devices. Due to the limited bandwidth in a wireless network, AirComp is adopted to enable efficient wireless data aggregation. However, fading of wireless channels can produce aggregate distortions in an AirComp-based FL scheme. To tackle this challenge, we propose a modified federated averaging (FedAvg) algorithm that combines digital modulation with AirComp to mitigate wireless fading while ensuring the communication efficiency. This is achieved by a joint transmit and receive beamforming design, which is formulated as an optimization problem to dynamically adjust the beamforming matrices based on current FL model parameters so as to minimize the transmitting error and ensure the FL performance. To achieve this goal, we first analytically characterize how the beamforming matrices affect the performance of the FedAvg in different iterations. Based on this relationship, an artificial neural network (ANN) is used to estimate the local FL models of all devices and adjust the beamforming matrices at the PS for future model transmission. The algorithmic advantages and improved performance of the proposed methodologies are demonstrated through extensive numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google