Synergizing Foundation Models and Federated Learning: A Survey

要約

大規模言語モデル、ビジョン トランスフォーマー、マルチモーダル モデルに代表されるファウンデーション モデル (FM) の最近の開発は、学術界と産業界の両方に大きな影響を与えています。
小規模モデルと比較して、FM は事前トレーニング段階で大量のデータに対する要求が非常に強くなります。
一般的な FM はインターネットなどのオープンソースから収集したデータで事前トレーニングできますが、ドメイン固有の FM には独自のデータが必要であり、プライバシーの懸念により利用可能なデータの量に関して実際的な課題が生じます。
Federated Learning (FL) は、さまざまな参加者からのデータ可用性の壁を打ち破る共同学習パラダイムです。
したがって、プライバシーを保護しながら、分散データセットを使用して FM をカスタマイズし、ドメイン固有の幅広いタスクに適応させるための有望なソリューションを提供します。
この調査報告書では、FL と FM を相乗させる可能性と課題について議論し、中核となる技術、将来の方向性、およびアプリケーションを要約します。
FM-FL に関する定期的に更新される論文コレクションは、https://github.com/lishenghui/awesome-fm-fl で入手できます。

要約(オリジナル)

The recent development of Foundation Models (FMs), represented by large language models, vision transformers, and multimodal models, has been making a significant impact on both academia and industry. Compared with small-scale models, FMs have a much stronger demand for high-volume data during the pre-training phase. Although general FMs can be pre-trained on data collected from open sources such as the Internet, domain-specific FMs need proprietary data, posing a practical challenge regarding the amount of data available due to privacy concerns. Federated Learning (FL) is a collaborative learning paradigm that breaks the barrier of data availability from different participants. Therefore, it provides a promising solution to customize and adapt FMs to a wide range of domain-specific tasks using distributed datasets whilst preserving privacy. This survey paper discusses the potentials and challenges of synergizing FL and FMs and summarizes core techniques, future directions, and applications. A periodically updated paper collection on FM-FL is available at https://github.com/lishenghui/awesome-fm-fl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google