Convergence Analysis of Over-the-Air FL with Compression and Power Control via Clipping

要約

無線フェデレーテッド ラーニング (AirFL) の導入に向けた重要な課題の 1 つは、ベースラインと比較して学習パフォーマンスの低下を最小限に抑えながら、共有チャネルの電力と帯域幅の制約に準拠できるメカニズムの設計です。
ノイズレスな実装。
デバイスごとの瞬間的な電力制約がある加法性白色ガウス ノイズ (AWGN) チャネルの場合、これまでの研究で、ノルム クリッピングに基づく電力制御メカニズムの最適性が実証されています。
これは、Polyak-{\L}ojasiewicz (PL) 条件を満たすスムーズな学習目標の最適性ギャップの上限を最小化することによって行われました。
このペーパーでは、ノルム クリッピングに基づく AirFL の開発に 2 つの貢献を行います。これを AirFL-Clip と呼びます。
まず、一般的なスムーズで非凸の学習目標に適用される AirFLClip の収束境界を提供します。
既存の結果とは異なり、導出された境界には実行固有のパラメーターが含まれていないため、オフライン評価がサポートされます。
次に、AirFL-Clip を拡張して、Top-k スパース化と線形圧縮を含めます。
AirFL-Clip-Comp と呼ばれるこの一般化されたプロトコルでは、一般的な滑らかで非凸の学習目標の収束限界を導出します。
私たちは、十分に研究されたスパース回復アルゴリズムの特性を活用することで、境界内に存在する時変量のみをオフラインで効率的に推定できることを主張し、実験によって実証します。

要約(オリジナル)

One of the key challenges towards the deployment of over-the-air federated learning (AirFL) is the design of mechanisms that can comply with the power and bandwidth constraints of the shared channel, while causing minimum deterioration to the learning performance as compared to baseline noiseless implementations. For additive white Gaussian noise (AWGN) channels with instantaneous per-device power constraints, prior work has demonstrated the optimality of a power control mechanism based on norm clipping. This was done through the minimization of an upper bound on the optimality gap for smooth learning objectives satisfying the Polyak-{\L}ojasiewicz (PL) condition. In this paper, we make two contributions to the development of AirFL based on norm clipping, which we refer to as AirFL-Clip. First, we provide a convergence bound for AirFLClip that applies to general smooth and non-convex learning objectives. Unlike existing results, the derived bound is free from run-specific parameters, thus supporting an offline evaluation. Second, we extend AirFL-Clip to include Top-k sparsification and linear compression. For this generalized protocol, referred to as AirFL-Clip-Comp, we derive a convergence bound for general smooth and non-convex learning objectives. We argue, and demonstrate via experiments, that the only time-varying quantities present in the bound can be efficiently estimated offline by leveraging the well-studied properties of sparse recovery algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google