Decentralized Learning Made Easy with DecentralizePy

要約

タイトル：DecentralizedPyによる簡単な分散学習

要約：
– 分散学習（DL）は、スケーラビリティ、プライバシー、耐障害性の潜在的な利点をもつため、注目されています。
– 分散学習は、中央サーバーなしで協調する多数のノードから構成され、機械学習（ML）トレーニングの本質的に反復的なプロセスで数百万のパラメータを交換します。
– これらのノードは複雑で、動的なトポロジに接続されています。
– この論文では、任意のトポロジで大規模な分散学習ネットワークのエミュレーションを可能にする分散フレームワークDecentralizePyを提案します。
– DecentralizePyの機能をデモンストレーションし、1000以上のノードを持つ動的ネットワークを含む複数のトポロジの上に疎化や安全な集約などの技術を展開します。

要約(オリジナル)

Decentralized learning (DL) has gained prominence for its potential benefits in terms of scalability, privacy, and fault tolerance. It consists of many nodes that coordinate without a central server and exchange millions of parameters in the inherently iterative process of machine learning (ML) training. In addition, these nodes are connected in complex and potentially dynamic topologies. Assessing the intricate dynamics of such networks is clearly not an easy task. Often in literature, researchers resort to simulated environments that do not scale and fail to capture practical and crucial behaviors, including the ones associated to parallelism, data transfer, network delays, and wall-clock time. In this paper, we propose DecentralizePy, a distributed framework for decentralized ML, which allows for the emulation of large-scale learning networks in arbitrary topologies. We demonstrate the capabilities of DecentralizePy by deploying techniques such as sparsification and secure aggregation on top of several topologies, including dynamic networks with more than one thousand nodes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI