Hierarchical and Decentralised Federated Learning

要約

タイトル：階層化および分散化されたフェデレーテッドラーニング
要約：
– フェデレーテッドラーニングは、分散環境でのMLモデルのトレーニングを行い、通信コストを削減し、データプライバシーを保護する方法として、非常に有望であることが示されています。
– しかし、IoTなどの複雑なサイバー物理システムの台頭により、従来のFL方法では対応できない新しい課題が生じています。
– 階層的フェデレーテッドラーニングは、従来のFLプロセスを拡張し、アプリケーションのニーズや展開環境の特性（リソース能力やネットワーク接続性など）に基づいてより効率的なモデル集約を可能にすることで、クラウド – エッジ間の処理バランスによる利点を示します。
– 階層的フェデレーテッドラーニングは、スマートファーミングやスマートエネルギー管理などのさまざまなアプリケーションにとって重要な役割を果たし、性能を向上させ、コストを削減し、従来のFLに適さない環境でFLワークフローを展開することができる。
– しかし、H-FLにはいくつかの新しい課題もあり、インフラストラクチャの課題や、一般的なモデルと個別のモデルのトレードオフなどがある。
– 将来のFLソリューションにおいて、ローカリティ依存性とグローバル異常耐性のトレードオフを最適にサーブするために、H-FLは重要な役割を果たすことが期待されます。

要約(オリジナル)

Federated learning has shown enormous promise as a way of training ML models in distributed environments while reducing communication costs and protecting data privacy. However, the rise of complex cyber-physical systems, such as the Internet-of-Things, presents new challenges that are not met with traditional FL methods. Hierarchical Federated Learning extends the traditional FL process to enable more efficient model aggregation based on application needs or characteristics of the deployment environment (e.g., resource capabilities and/or network connectivity). It illustrates the benefits of balancing processing across the cloud-edge continuum. Hierarchical Federated Learning is likely to be a key enabler for a wide range of applications, such as smart farming and smart energy management, as it can improve performance and reduce costs, whilst also enabling FL workflows to be deployed in environments that are not well-suited to traditional FL. Model aggregation algorithms, software frameworks, and infrastructures will need to be designed and implemented to make such solutions accessible to researchers and engineers across a growing set of domains. H-FL also introduces a number of new challenges. For instance, there are implicit infrastructural challenges. There is also a trade-off between having generalised models and personalised models. If there exist geographical patterns for data (e.g., soil conditions in a smart farm likely are related to the geography of the region itself), then it is crucial that models used locally can consider their own locality in addition to a globally-learned model. H-FL will be crucial to future FL solutions as it can aggregate and distribute models at multiple levels to optimally serve the trade-off between locality dependence and global anomaly robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI