Federated Learning in Practice: Reflections and Projections

要約

Federated Learning (FL) は、複数のエンティティがローカル データを交換せずに共有モデルを共同で学習できるようにする機械学習手法です。
過去 10 年にわたり、FL システムは大幅な進歩を遂げ、さまざまな学習ドメインにわたって数百万台のデバイスに拡張しながら、意味のある差分プライバシー (DP) 保証を提供しました。
Google、Apple、Meta などの組織による運用システムは、FL の現実世界への適用可能性を実証しています。
ただし、サーバー側の DP 保証の検証や異種デバイス間でのトレーニングの調整など、重要な課題が残っており、広範な導入が制限されています。
さらに、大規模な (マルチモーダル) モデルやトレーニング、推論、パーソナライゼーションの間の曖昧な境界線などの新たなトレンドが、従来の FL フレームワークに課題をもたらしています。
これに応えて、私たちは厳格な定義ではなくプライバシー原則を優先する再定義された FL フレームワークを提案します。
また、信頼できる実行環境とオープンソース エコシステムを活用して、これらの課題に対処し、フロリダ州での将来の進歩を促進することで、今後の道筋を描きます。

要約(オリジナル)

Federated Learning (FL) is a machine learning technique that enables multiple entities to collaboratively learn a shared model without exchanging their local data. Over the past decade, FL systems have achieved substantial progress, scaling to millions of devices across various learning domains while offering meaningful differential privacy (DP) guarantees. Production systems from organizations like Google, Apple, and Meta demonstrate the real-world applicability of FL. However, key challenges remain, including verifying server-side DP guarantees and coordinating training across heterogeneous devices, limiting broader adoption. Additionally, emerging trends such as large (multi-modal) models and blurred lines between training, inference, and personalization challenge traditional FL frameworks. In response, we propose a redefined FL framework that prioritizes privacy principles rather than rigid definitions. We also chart a path forward by leveraging trusted execution environments and open-source ecosystems to address these challenges and facilitate future advancements in FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google