Advances and Open Challenges in Federated Foundation Models

要約

Foundation Model (FM) と Federated Learning (FL) の統合は、人工知能 (AI) に変革的なパラダイムをもたらします。
この統合により、プライバシー、データの分散化、計算効率の懸念に対処しながら、機能が強化されます。
この論文は、FedFM (Federated Foundation Models) という新興分​​野の包括的な調査を提供し、それらの相乗関係を解明し、FM の時代に繁栄するために FL 研究分野が焦点を当てる必要がある新しい方法論、課題、将来の方向性を探ります。
。
モデルのトレーニング、集約、信頼性、およびインセンティブに関する既存の FedFM アプローチを分類する、体系的な多層分類法が提案されています。
FL が高度に複雑な計算要求に対処できるようにする方法、プライバシーへの配慮、貢献度の評価、通信効率など、主要な課題について徹底的に議論されています。
さらに、この論文では、FL を介した FM のトレーニング/微調整に固有の通信、スケーラビリティ、セキュリティの複雑な課題についても調査しています。
これは、トレーニング、推論、最適化、データ暗号化のプロセスに革命をもたらす量子コンピューティングの可能性を強調しています。
この調査では、FedFM の実装要件といくつかの実践的な FedFM アプリケーションも紹介します。
そして、この調査は、FedFM の調査結果を明確に理解するための教訓を提供します。
最後に、この調査は FedFM の現状と課題についての洞察を提供するだけでなく、信頼できるソリューションを開発する必要性を強調し、将来の研究の方向性への道を切り開くものでもあります。
これは、この学際的で急速に進歩する分野に貢献することに関心のある研究者や実務者にとっての基礎的なガイドとして役立ちます。

要約(オリジナル)

The integration of Foundation Models (FMs) with Federated Learning (FL) presents a transformative paradigm in Artificial Intelligence (AI). This integration offers enhanced capabilities while addressing concerns of privacy, data decentralization, and computational efficiency. This paper provides a comprehensive survey of the emerging field of Federated Foundation Models (FedFM), elucidating their synergistic relationship and exploring novel methodologies, challenges, and future directions that the FL research field needs to focus on in order to thrive in the age of FMs. A systematic multi-tiered taxonomy is proposed, categorizing existing FedFM approaches for model training, aggregation, trustworthiness, and incentivization. Key challenges, including how to enable FL to deal with high complexity of computational demands, privacy considerations, contribution evaluation, and communication efficiency, are thoroughly discussed. Moreover, the paper explores the intricate challenges of communication, scalability, and security inherent in training/fine-tuning FMs via FL. It highlights the potential of quantum computing to revolutionize the processes of training, inference, optimization, and data encryption. This survey also introduces the implementation requirement of FedFM and some practical FedFM applications. Then, this survey provides the lessons with a clear understanding of our findings for FedFM. Finally, this survey not only provides insights into the current state and challenges of FedFM but also paves the way for future research directions, emphasizing the need for developing trustworthy solutions. It serves as a foundational guide for researchers and practitioners interested in contributing to this interdisciplinary and rapidly advancing field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google