Spectrum Breathing: Protecting Over-the-Air Federated Learning Against Interference

要約

タイトル：スペクトルブリージング：オーバーザエアフェデレーテッドラーニングをインタフェリアから保護する方法

要約：

– 分散型モバイルデータから人工知能を抽出するためのフェデレーテッドラーニング（FL）は広く受け入れられているパラダイムです。
– しかし、FLの展開は、周辺セルまたはジャマーからの干渉の露出によって危険にさらされる可能性があります。
– 現在の干渉緩和技術には、実践的には高価な複数セル協調または少なくとも干渉チャンネル状態情報が必要とされます。
– 一方、干渉をノイズとして扱う電力制御は、電力予算の限界により効果的でない場合があり、また、このメカニズムにより干渉源が対抗策を引き起こす場合があります。
– 実際的なアプローチとして、スペクトルブリージングを提案しています。これは、幅を拡張することなく、確率的勾配修正と拡散スペクトルを重ね合わせて干渉を抑制します。
– 学習速度の優雅な劣化により、より高い学習遅延がかかります。
– この2つの操作を同期させ、レベルを同じパラメータで制御するようにします。
– 最適にパラメータを制御するために、スペクトルブリージングを用いたオーバーザエアFLの収束解析のマルチンゲールベースのアプローチを開発します。
– 勾配修正と干渉誘発エラーの間のパフォーマンストレードオフを呈示します。
– 正しいSIRとモデルサイズが与えられた場合、トレードオフの最適化は、チャネルと学習プロセスに応じて固定または適応できる2つのスキームを生成します。
– 実験で示すように、強い干渉の存在下では、従来のオーバーザエアFLが収束しないシナリオで、適応的なブリージング深度を持つAirBreathing FLは、固定された場合に近い理想的な性能を実現できます。

要約(オリジナル)

Federated Learning (FL) is a widely embraced paradigm for distilling artificial intelligence from distributed mobile data. However, the deployment of FL in mobile networks can be compromised by exposure to interference from neighboring cells or jammers. Existing interference mitigation techniques require multi-cell cooperation or at least interference channel state information, which is expensive in practice. On the other hand, power control that treats interference as noise may not be effective due to limited power budgets, and also that this mechanism can trigger countermeasures by interference sources. As a practical approach for protecting FL against interference, we propose Spectrum Breathing, which cascades stochastic-gradient pruning and spread spectrum to suppress interference without bandwidth expansion. The cost is higher learning latency by exploiting the graceful degradation of learning speed due to pruning. We synchronize the two operations such that their levels are controlled by the same parameter, Breathing Depth. To optimally control the parameter, we develop a martingale-based approach to convergence analysis of Over-the-Air FL with spectrum breathing, termed AirBreathing FL. We show a performance tradeoff between gradient-pruning and interference-induced error as regulated by the breathing depth. Given receive SIR and model size, the optimization of the tradeoff yields two schemes for controlling the breathing depth that can be either fixed or adaptive to channels and the learning process. As shown by experiments, in scenarios where traditional Over-the-Air FL fails to converge in the presence of strong interference, AirBreahing FL with either fixed or adaptive breathing depth can ensure convergence where the adaptive scheme achieves close-to-ideal performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI