Exploring the Impact of Serverless Computing on Peer To Peer Training Machine Learning

要約

ビッグデータと機械学習における計算能力への需要の高まりにより、分散トレーニング方法論の開発が推進されています。
このうち、ピアツーピア (P2P) ネットワークには、拡張性や耐障害性の向上などの利点があります。
ただし、参加するピアの数が増えると、リソース消費、コスト、通信オーバーヘッドに関する課題にも直面します。
この論文では、分散トレーニングのためにサーバーレス コンピューティングと P2P ネットワークを組み合わせた新しいアーキテクチャを紹介し、リソースの制約下で効率的な並列勾配計算を行う方法を紹介します。
私たちの調査結果では、従来の P2P 分散トレーニング手法と比較して、勾配計算時間が大幅に向上し、最大 97.34\% 改善されたことがわかりました。
コストに関しては、調査の結果、サーバーレス アーキテクチャでは、インスタンス ベースのアーキテクチャに比べて最大 5.4 倍もの費用がかかる可能性があることが確認されました。
これらのコストの増加は、特にリソースに制約のあるシナリオでは、計算時間の大幅な改善に関連していることを考慮することが重要です。
コストと時間のトレードオフにもかかわらず、サーバーレスのアプローチは従量課金制モデルであるため、依然として有望です。
動的なリソース割り当てを利用することで、トレーニング時間の短縮とリソース利用の最適化が可能となり、幅広い機械学習アプリケーションの有望な候補となります。

要約(オリジナル)

The increasing demand for computational power in big data and machine learning has driven the development of distributed training methodologies. Among these, peer-to-peer (P2P) networks provide advantages such as enhanced scalability and fault tolerance. However, they also encounter challenges related to resource consumption, costs, and communication overhead as the number of participating peers grows. In this paper, we introduce a novel architecture that combines serverless computing with P2P networks for distributed training and present a method for efficient parallel gradient computation under resource constraints. Our findings show a significant enhancement in gradient computation time, with up to a 97.34\% improvement compared to conventional P2P distributed training methods. As for costs, our examination confirmed that the serverless architecture could incur higher expenses, reaching up to 5.4 times more than instance-based architectures. It is essential to consider that these higher costs are associated with marked improvements in computation time, particularly under resource-constrained scenarios. Despite the cost-time trade-off, the serverless approach still holds promise due to its pay-as-you-go model. Utilizing dynamic resource allocation, it enables faster training times and optimized resource utilization, making it a promising candidate for a wide range of machine learning applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google