Global Update Tracking: A Decentralized Learning Algorithm for Heterogeneous Data

要約

タイトル：ヘテロジニアスデータの分散学習のための分散学習アルゴリズム

要約：

– 分散学習は、中央サーバーなしに異なる場所で生成された大規模分散データセットを使用して深層学習モデルをトレーニングすることができます。
– ただし、実践的なシナリオでは、これらのデバイス間のデータ分布は大幅に異なる場合があり、モデルの性能の低下を引き起こすことがあります。
– この論文では、デバイス間のデータ分布の変化に弱い分散学習アルゴリズムの設計に焦点を当てています。
– 提案手法であるGlobal Update Tracking (GUT)は、トラッキングに基づく新しい手法であり、通信オーバーヘッドを導入することなく、分散学習におけるヘテロジニアスデータの影響を軽減することを目的としています。
– CIFAR-10、CIFAR-100、Fashion MNIST、およびImageNetteといった様々なコンピュータービジョンのデータセット、モデルアーキテクチャ、およびネットワークトポロジーでの詳細な実験を通じて、提案手法の効果を実証しています。
– 実験結果は、既存の他の手法に比べ、分散学習におけるヘテロジニアスデータの分類精度に$1-6\%$ の改善をもたらし、最先端の性能を達成することを示します。

要約(オリジナル)

Decentralized learning enables the training of deep learning models over large distributed datasets generated at different locations, without the need for a central server. However, in practical scenarios, the data distribution across these devices can be significantly different, leading to a degradation in model performance. In this paper, we focus on designing a decentralized learning algorithm that is less susceptible to variations in data distribution across devices. We propose Global Update Tracking (GUT), a novel tracking-based method that aims to mitigate the impact of heterogeneous data in decentralized learning without introducing any communication overhead. We demonstrate the effectiveness of the proposed technique through an exhaustive set of experiments on various Computer Vision datasets (CIFAR-10, CIFAR-100, Fashion MNIST, and ImageNette), model architectures, and network topologies. Our experiments show that the proposed method achieves state-of-the-art performance for decentralized learning on heterogeneous data via a $1-6\%$ improvement in test accuracy compared to other existing techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI