Exploring the Impact of Disrupted Peer-to-Peer Communications on Fully Decentralized Learning in Disaster Scenarios

要約

完全分散型学習では、学習リソースと意思決定機能を複数のユーザー デバイスまたはノードに分散でき、プライバシー保護と分散型の性質により急速に人気が高まっています。
重要なのは、この学習プロセスのクラウドソーシングにより、一部のノードが影響を受けたり切断されたりした場合でも、システムは機能し続けることができるということです。
災害シナリオでは、通信インフラストラクチャと集中システムが中断されるか、完全に利用できなくなる可能性があり、そのような環境で標準的な集中学習タスクを実行する可能性が妨げられます。
したがって、この場合には完全に分散型学習が役立ちます。
ただし、集中型通信からピアツーピア通信に移行すると、学習プロセスとノード間の通信グラフのトポロジとの間に依存関係が生じます。
災害シナリオでは、ピアツーピア通信であっても、デバイスのバッテリーが切れたり、位置が原因​​で他のデバイスから切断されたりするなど、突然の変化の影響を受けやすくなります。
この研究では、災害時の分散学習におけるピアツーピア通信へのさまざまな中断の影響を調査します。
デバイスのサブセットが突然プロセスから外された場合の分散学習プロセスの復元力を調べます。
この目的を達成するために、データ (潜在的な知識) を保持しているデバイスを失った場合と、グラフの接続にのみ寄与したデバイス (データがない) の違いを分析します。
トレーニング データが IID 方式でノード全体に分散される Barabasi-Albert グラフ トポロジに関する調査結果は、学習プロセスの精度がデータの損失よりも接続の損失により大きく影響されることを示しています。
それにもかかわらず、ネットワークは比較的堅牢なままであり、学習プロセスは良好なレベルの精度を達成できます。

要約(オリジナル)

Fully decentralized learning enables the distribution of learning resources and decision-making capabilities across multiple user devices or nodes, and is rapidly gaining popularity due to its privacy-preserving and decentralized nature. Importantly, this crowdsourcing of the learning process allows the system to continue functioning even if some nodes are affected or disconnected. In a disaster scenario, communication infrastructure and centralized systems may be disrupted or completely unavailable, hindering the possibility of carrying out standard centralized learning tasks in these settings. Thus, fully decentralized learning can help in this case. However, transitioning from centralized to peer-to-peer communications introduces a dependency between the learning process and the topology of the communication graph among nodes. In a disaster scenario, even peer-to-peer communications are susceptible to abrupt changes, such as devices running out of battery or getting disconnected from others due to their position. In this study, we investigate the effects of various disruptions to peer-to-peer communications on decentralized learning in a disaster setting. We examine the resilience of a decentralized learning process when a subset of devices drop from the process abruptly. To this end, we analyze the difference between losing devices holding data, i.e., potential knowledge, vs. devices contributing only to the graph connectivity, i.e., with no data. Our findings on a Barabasi-Albert graph topology, where training data is distributed across nodes in an IID fashion, indicate that the accuracy of the learning process is more affected by a loss of connectivity than by a loss of data. Nevertheless, the network remains relatively robust, and the learning process can achieve a good level of accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google