OCD-FL: A Novel Communication-Efficient Peer Selection-based Decentralized Federated Learning

要約

エッジ インテリジェンスと成長を続けるモノのインターネット (IoT) ネットワークの組み合わせは、フェデレーション ラーニング (FL) が最も顕著なパラダイムとして台頭しており、協調的な機械学習の新時代の到来を告げています。
これらの学習スキームへの関心が高まるにつれ、研究者はその最も基本的な制限のいくつかに取り組み始めました。
実際、中央アグリゲータを備えた従来の FL では、単一障害点とネットワークのボトルネックが発生します。
この問題を回避するために、ノードがピアツーピアネットワークで連携する分散型 FL が提案されています。
後者の効率性にもかかわらず、分散型 FL では通信コストとデータの異種性が依然として重要な課題となっています。
これに関連して、エネルギー消費を削減しながら最大限の FL 知識獲得を達成することを目的として、コラボレーションのための体系的な FL ピア選択で構成される、日和見的通信効率の高い分散連合学習 (別名 OCD-FL) と呼ばれる新しいスキームを提案します。
実験結果は、消費エネルギーを少なくとも 30%、最大 80% 大幅に削減しながら、完全協調型 FL と同等以上のパフォーマンスを達成する OCD-FL の能力を実証しています。

要約(オリジナル)

The conjunction of edge intelligence and the ever-growing Internet-of-Things (IoT) network heralds a new era of collaborative machine learning, with federated learning (FL) emerging as the most prominent paradigm. With the growing interest in these learning schemes, researchers started addressing some of their most fundamental limitations. Indeed, conventional FL with a central aggregator presents a single point of failure and a network bottleneck. To bypass this issue, decentralized FL where nodes collaborate in a peer-to-peer network has been proposed. Despite the latter’s efficiency, communication costs and data heterogeneity remain key challenges in decentralized FL. In this context, we propose a novel scheme, called opportunistic communication-efficient decentralized federated learning, a.k.a., OCD-FL, consisting of a systematic FL peer selection for collaboration, aiming to achieve maximum FL knowledge gain while reducing energy consumption. Experimental results demonstrate the capability of OCD-FL to achieve similar or better performances than the fully collaborative FL, while significantly reducing consumed energy by at least 30% and up to 80%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google