Coordination-free Decentralised Federated Learning on Complex Networks: Overcoming Heterogeneity

要約

Federated Learning (FL) は、関係するデバイスのリソースが限られており、データ表現が不完全であるエッジ コンピューティング シナリオで学習タスクを正常に実行するためのよく知られたフレームワークです。
FL の基本的な前提は、デバイスがプロセス全体を集中調整するパラメータ サーバーと直接的または間接的に通信し、それに関連するいくつかの課題を克服することです。
ただし、高度に普及したエッジ シナリオでは、プロセスを監視する中央コントローラーの存在が常に保証されるわけではなく、デバイス間の対話 (接続グラフなど) が事前に決定されていない可能性があり、その結果、複雑なネットワーク構造が生じます。
さらに、データとデバイスの異質性により、学習プロセスがさらに複雑になります。
これは、学習の観点から新たな課題をもたらしますが、私たちは、それらに対処できる通信効率の高い分散型フェデレーション学習 (DFL) アルゴリズムを提案することで対処します。
当社のソリューションを使用すると、直接隣接するデバイスとのみ通信するデバイスが正確なモデルをトレーニングできるようになり、データやさまざまなトレーニング履歴によって引き起こされる異質性を克服できます。
私たちの結果は、結果として得られるローカル モデルが、競合するアプローチでトレーニングされたモデルよりもうまく一般化し、よりコミュニケーション効率の高い方法で一般化できることを示しています。

要約(オリジナル)

Federated Learning (FL) is a well-known framework for successfully performing a learning task in an edge computing scenario where the devices involved have limited resources and incomplete data representation. The basic assumption of FL is that the devices communicate directly or indirectly with a parameter server that centrally coordinates the whole process, overcoming several challenges associated with it. However, in highly pervasive edge scenarios, the presence of a central controller that oversees the process cannot always be guaranteed, and the interactions (i.e., the connectivity graph) between devices might not be predetermined, resulting in a complex network structure. Moreover, the heterogeneity of data and devices further complicates the learning process. This poses new challenges from a learning standpoint that we address by proposing a communication-efficient Decentralised Federated Learning (DFL) algorithm able to cope with them. Our solution allows devices communicating only with their direct neighbours to train an accurate model, overcoming the heterogeneity induced by data and different training histories. Our results show that the resulting local models generalise better than those trained with competing approaches, and do so in a more communication-efficient way.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google