FedPara: Low-Rank Hadamard Product for Communication-Efficient Federated Learning

要約

この作業では、頻繁なモデルのアップロードとダウンロードの負担を克服するために、連合学習 (FL) 用の通信効率の高いパラメーター化、FedPara を提案します。
私たちの方法は、低ランクの重みとそれに続くアダマール積を使用して、レイヤーの重みパラメーターを再パラメーター化します。
従来の低ランクのパラメータ化と比較して、FedPara メソッドは低ランクの制約に制限されていないため、はるかに大きな容量を持っています。
この特性により、従来の低ランク方式では実現できなかった独自のレイヤーを使用したモデルと比較して、通信コストを 3 ～ 10 分の 1 に抑えながら、同等のパフォーマンスを実現できます。
この方法の効率は、他の効率的な FL オプティマイザーと組み合わせることでさらに改善できます。
さらに、メソッドをパーソナライズされた FL アプリケーション pFedPara に拡張し、パラメーターをグローバルとローカルのパラメーターに分離します。
pFedPara は、競合するパーソナライズされた FL メソッドよりも 3 倍以上少ないパラメーターで優れていることを示しています。

要約(オリジナル)

In this work, we propose a communication-efficient parameterization, FedPara, for federated learning (FL) to overcome the burdens on frequent model uploads and downloads. Our method re-parameterizes weight parameters of layers using low-rank weights followed by the Hadamard product. Compared to the conventional low-rank parameterization, our FedPara method is not restricted to low-rank constraints, and thereby it has a far larger capacity. This property enables to achieve comparable performance while requiring 3 to 10 times lower communication costs than the model with the original layers, which is not achievable by the traditional low-rank methods. The efficiency of our method can be further improved by combining with other efficient FL optimizers. In addition, we extend our method to a personalized FL application, pFedPara, which separates parameters into global and local ones. We show that pFedPara outperforms competing personalized FL methods with more than three times fewer parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google