Robust Federated Learning Over the Air: Combating Heavy-Tailed Noise with Median Anchored Clipping

要約

モデルの集約に無線計算を活用することは、フェデレーション エッジ ラーニングにおける通信のボトルネックに対処する効果的なアプローチです。
このアプローチは、マルチアクセス チャネルの重ね合わせ特性を利用することで、通信と計算の統合設計を容易にし、それによって実装コストを削減しながらシステムのプライバシーを強化します。
ただし、無線チャネルに固有の電磁干渉は、ヘビーテール分布を示すことが多く、グローバルに集約された勾配で非常に強いノイズを引き起こし、トレーニングのパフォーマンスを大幅に低下させる可能性があります。
この問題に対処するために、我々は、ヘビーテール ノイズの悪影響に対抗するために、メディアン アンカー クリッピング (MAC) と呼ばれる新しい勾配クリッピング方法を提案します。
また、MAC の下でのアナログ無線連合学習によるモデル トレーニングの収束率の分析式も導き出し、トレーニング パフォーマンスに対する MAC の効果を定量的に示します。
広範な実験結果は、提案された MAC アルゴリズムがヘビーテール ノイズの影響を効果的に軽減し、システムの堅牢性を大幅に向上させることを示しています。

要約(オリジナル)

Leveraging over-the-air computations for model aggregation is an effective approach to cope with the communication bottleneck in federated edge learning. By exploiting the superposition properties of multi-access channels, this approach facilitates an integrated design of communication and computation, thereby enhancing system privacy while reducing implementation costs. However, the inherent electromagnetic interference in radio channels often exhibits heavy-tailed distributions, giving rise to exceptionally strong noise in globally aggregated gradients that can significantly deteriorate the training performance. To address this issue, we propose a novel gradient clipping method, termed Median Anchored Clipping (MAC), to combat the detrimental effects of heavy-tailed noise. We also derive analytical expressions for the convergence rate of model training with analog over-the-air federated learning under MAC, which quantitatively demonstrates the effect of MAC on training performance. Extensive experimental results show that the proposed MAC algorithm effectively mitigates the impact of heavy-tailed noise, hence substantially enhancing system robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google