Communication-Efficient Federated Hypergradient Computation via Aggregated Iterative Differentiation

要約

フェデレーテッド 2 レベル最適化は、新しい機械学習および通信アプリケーションにより、ますます注目を集めています。
最大の課題は、一連のグローバル ヘッセ行列の非線形および分散構造によるフェデレーション設定で上位レベルの目的関数 (つまり、超勾配) の勾配を計算することにあります。
この論文では、集約された反復微分（AggITD）を介して、新しい通信効率の高いフェデレーション超勾配推定器を提案します。
AggITD は、フェデレーテッド超勾配推定と低レベルの最適化を同時に実行することで、実装が簡単で、通信コストを大幅に削減します。
提案された AggITD ベースのアルゴリズムは、データの不均一性が存在する場合に、通信ラウンドがはるかに少なく、既存の近似暗黙的微分 (AID) ベースのアプローチと同じサンプルの複雑さを達成することを示します。
私たちの結果は、連合/分散超勾配推定における AID に対する ITD の大きな利点にも光を当てています。
これは、ITD が AID よりも効率が低い非分散 2 値最適化での比較とは異なります。
私たちの広範な実験は、提案された方法の優れた有効性と通信効率を示しています。

要約(オリジナル)

Federated bilevel optimization has attracted increasing attention due to emerging machine learning and communication applications. The biggest challenge lies in computing the gradient of the upper-level objective function (i.e., hypergradient) in the federated setting due to the nonlinear and distributed construction of a series of global Hessian matrices. In this paper, we propose a novel communication-efficient federated hypergradient estimator via aggregated iterative differentiation (AggITD). AggITD is simple to implement and significantly reduces the communication cost by conducting the federated hypergradient estimation and the lower-level optimization simultaneously. We show that the proposed AggITD-based algorithm achieves the same sample complexity as existing approximate implicit differentiation (AID)-based approaches with much fewer communication rounds in the presence of data heterogeneity. Our results also shed light on the great advantage of ITD over AID in the federated/distributed hypergradient estimation. This differs from the comparison in the non-distributed bilevel optimization, where ITD is less efficient than AID. Our extensive experiments demonstrate the great effectiveness and communication efficiency of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google