A Survey on Efficient Federated Learning Methods for Foundation Model Training

要約

Federated Learning (FL) は、プライバシーを保護した共同トレーニングを促進するための確立された技術となっています。
ただし、FL への新しいアプローチでは、小規模な深層学習モデルのみに関する貢献について議論することがよくあります。
変圧器モデルの大きな成功により、次の疑問が生じます。FL アプリケーションで基礎モデルを運用するには何が必要ですか?
FL では計算と通信に同じような時間がかかることが多いため、FL アプリケーションでの計算と通信の効率化手法に焦点を当てた新しい分類法を導入します。
ただし、これらの方法はトレーニング時間を最適化し、クライアントとサーバー間の通信を削減することを目的としています。
また、広く使用されている FL フレームワークの現状を検討し、FL 研究およびそれ以降の既存のアプローチに基づいた将来の研究の可能性についても議論します。

要約(オリジナル)

Federated Learning (FL) has become an established technique to facilitate privacy-preserving collaborative training. However, new approaches to FL often discuss their contributions involving small deep-learning models only. With the tremendous success of transformer models, the following question arises: What is necessary to operationalize foundation models in an FL application? Knowing that computation and communication often take up similar amounts of time in FL, we introduce a novel taxonomy focused on computational and communication efficiency methods in FL applications. This said, these methods aim to optimize the training time and reduce communication between clients and the server. We also look at the current state of widely used FL frameworks and discuss future research potentials based on existing approaches in FL research and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google