GPT-FL: Generative Pre-trained Model-Assisted Federated Learning

要約

この研究では、生成的な事前トレーニング済みモデル支援連合学習 (FL) フレームワークである GPT-FL を提案します。
GPT-FL はその中核として、事前トレーニングされた生成モデルを活用して、多様な合成データを生成します。
これらの生成されたデータは、サーバー上でダウンストリーム モデルをトレーニングするために使用され、その後、標準の FL フレームワークの下でプライベート クライアント データを使用して微調整されます。
GPT-FL は、モデル テストの精度、通信効率、クライアント サンプリング効率の点で、常に最先端の FL 手法を上回っていることを示します。
包括的なアブレーション解析を通じて、合成データによって生成された下流モデルが、FL トレーニング中の勾配ダイバーシティの方向の制御に重要な役割を果たしていることを発見しました。これにより、収束速度が向上し、GPT-FL で観察された顕著な精度向上に貢献します。
また、ターゲット データが事前トレーニングされた生成モデルの領域内か外にあるかに関係なく、GPT-FL は一貫して大幅なパフォーマンス向上を実現し、FL または合成データのみでトレーニングされたモデルによって得られる結果を上回ります。

要約(オリジナル)

In this work, we propose GPT-FL, a generative pre-trained model-assisted federated learning (FL) framework. At its core, GPT-FL leverages generative pre-trained models to generate diversified synthetic data. These generated data are used to train a downstream model on the server, which is then fine-tuned with private client data under the standard FL framework. We show that GPT-FL consistently outperforms state-of-the-art FL methods in terms of model test accuracy, communication efficiency, and client sampling efficiency. Through comprehensive ablation analysis, we discover that the downstream model generated by synthetic data plays a crucial role in controlling the direction of gradient diversity during FL training, which enhances convergence speed and contributes to the notable accuracy boost observed with GPT-FL. Also, regardless of whether the target data falls within or outside the domain of the pre-trained generative model, GPT-FL consistently achieves significant performance gains, surpassing the results obtained by models trained solely with FL or synthetic data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google