Advances and Open Challenges in Federated Learning with Foundation Models

要約

Foundation Models (FM) と Federated Learning (FL) の統合は、人工知能 (AI) に革新的なパラダイムを提示し、プライバシー、データの分散化、計算効率の懸念に対処しながら強化された機能を提供します。
この論文は、Federated Foundation Models (FedFM) という新興分​​野の包括的な調査を提供し、それらの相乗関係を解明し、FL 研究分野が基礎の時代に繁栄するために焦点を当てる必要がある新しい方法論、課題、将来の方向性を探ります。
モデル。
モデルのトレーニング、集約、信頼性、およびインセンティブに関する既存の FedFM アプローチを分類する、体系的な多層分類法が提案されています。
FL が高度に複雑な計算要求に対処できるようにする方法、プライバシーへの配慮、貢献度の評価、通信効率など、主要な課題について徹底的に議論されています。
さらに、この論文では、FL を介した FM のトレーニング/微調整に固有の通信、スケーラビリティ、セキュリティの複雑な課題を調査し、トレーニング、推論、最適化、およびデータ暗号化のプロセスに革命をもたらす量子コンピューティングの可能性を強調しています。
この調査は、FedFM のイノベーションを推進するためのさらなる研究の重要性を強調し、信頼できるソリューションを開発する必要性を強調しています。
これは、この学際的で急速に進歩する分野に貢献することに関心のある研究者や実務者にとっての基礎的なガイドとして役立ちます。

要約(オリジナル)

The integration of Foundation Models (FMs) with Federated Learning (FL) presents a transformative paradigm in Artificial Intelligence (AI), offering enhanced capabilities while addressing concerns of privacy, data decentralization, and computational efficiency. This paper provides a comprehensive survey of the emerging field of Federated Foundation Models (FedFM), elucidating their synergistic relationship and exploring novel methodologies, challenges, and future directions that the FL research field needs to focus on in order to thrive in the age of foundation models. A systematic multi-tiered taxonomy is proposed, categorizing existing FedFM approaches for model training, aggregation, trustworthiness, and incentivization. Key challenges, including how to enable FL to deal with high complexity of computational demands, privacy considerations, contribution evaluation, and communication efficiency, are thoroughly discussed. Moreover, the paper explores the intricate challenges of communication, scalability and security inherent in training/fine-tuning FMs via FL, highlighting the potential of quantum computing to revolutionize the training, inference, optimization and data encryption processes. This survey underscores the importance of further research to propel innovation in FedFM, emphasizing the need for developing trustworthy solutions. It serves as a foundational guide for researchers and practitioners interested in contributing to this interdisciplinary and rapidly advancing field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google