Gradient Coding in Decentralized Learning for Evading Stragglers

要約

この論文では、落伍者が存在する場合の分散学習の問題を検討します。
勾配コーディング技術は、デバイスが冗長トレーニング データを含むエンコードされた勾配を送信するストラグラーを回避する分散学習用に開発されましたが、それらの技術を分散学習シナリオに直接適用することは困難です。
この問題に対処するために、勾配コーディング (GOCO) を使用した新しいゴシップベースの分散学習方法を提案します。
提案された方法では、ストラグラーの悪影響を回避するために、確率的勾配コーディングのフレームワークに基づいてエンコードされた勾配を使用してパラメーター ベクトルをローカルで更新し、ゴシップベースの方法で平均化します。
強く凸の損失関数に対する GOCO の収束パフォーマンスを分析します。
また、ベースライン手法と比較した学習パフォーマンスの点で提案手法の優位性を実証するためのシミュレーション結果も提供します。

要約(オリジナル)

In this paper, we consider a decentralized learning problem in the presence of stragglers. Although gradient coding techniques have been developed for distributed learning to evade stragglers, where the devices send encoded gradients with redundant training data, it is difficult to apply those techniques directly to decentralized learning scenarios. To deal with this problem, we propose a new gossip-based decentralized learning method with gradient coding (GOCO). In the proposed method, to avoid the negative impact of stragglers, the parameter vectors are updated locally using encoded gradients based on the framework of stochastic gradient coding and then averaged in a gossip-based manner. We analyze the convergence performance of GOCO for strongly convex loss functions. And we also provide simulation results to demonstrate the superiority of the proposed method in terms of learning performance compared with the baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google