Covariances for Free: Exploiting Mean Distributions for Federated Learning with Pre-Trained Models

要約

事前に訓練されたモデルを使用することで、データの不均一性の影響を軽減し、連携学習アルゴリズムを高速化できることがわかっている。最近の研究では、一次統計量と二次統計量を用いて、ローカルクライアントのデータ分布をサーバで集約し、訓練なしで非常に高い性能を達成することが研究されている。本研究では、クラス共分散行列の不偏推定量に基づく訓練不要の手法を提案する。クライアントからサーバに伝達されるクラス平均の形の一次統計量のみを利用する我々の手法は、二次統計量の伝達に基づく手法に必要な通信コストの数分の一しか発生しない。推定されたクラス共分散を線形分類器の初期化に利用することで、共分散を実際に共有することなく利用する方法を示す。クラス平均のみを共有する最新の手法と比較すると、我々の手法は、全く同じ通信コストで、4-26%の範囲で性能が向上する。さらに、我々の手法は、劇的に少ない通信オーバヘッドで、2次統計量の共有と同等かそれ以上の性能を達成する。最後に、分類器を初期化するために我々の方法を使用し、その後連合化された微調整を実行することで、より良い、より速い収束が得られる。コードはhttps://github.com/dipamgoswami/FedCOF。

要約(オリジナル)

Using pre-trained models has been found to reduce the effect of data heterogeneity and speed up federated learning algorithms. Recent works have investigated the use of first-order statistics and second-order statistics to aggregate local client data distributions at the server and achieve very high performance without any training. In this work we propose a training-free method based on an unbiased estimator of class covariance matrices. Our method, which only uses first-order statistics in the form of class means communicated by clients to the server, incurs only a fraction of the communication costs required by methods based on communicating second-order statistics. We show how these estimated class covariances can be used to initialize a linear classifier, thus exploiting the covariances without actually sharing them. When compared to state-of-the-art methods which also share only class means, our approach improves performance in the range of 4-26\% with exactly the same communication cost. Moreover, our method achieves performance competitive or superior to sharing second-order statistics with dramatically less communication overhead. Finally, using our method to initialize classifiers and then performing federated fine-tuning yields better and faster convergence. Code is available at https://github.com/dipamgoswami/FedCOF.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL