Generalization Error Matters in Decentralized Learning Under Byzantine Attacks

要約

最近、分散学習は、中央サーバーが存在しなくても、地理的に分散したエージェント間でスケーラブルな方法でモデルのトレーニングを可能にする、人気のあるピアツーピアの信号および情報処理パラダイムとして台頭しています。
一部のエージェントが悪意のあるもの (ビザンチンとも呼ばれます) である場合、回復力のある分散学習アルゴリズムは、エージェントの数やアイデンティティを知らなくても、これらのビザンチン エージェントの影響を制限することができ、最適化エラーが保証されます。
ただし、トレーニングされたモデルの実装にとって重要な一般化エラーの分析はまだ不足しています。
この論文では、一般的なビザンチン復元力のある分散確率的勾配降下 (DSGD) アルゴリズムのクラスの汎化誤差の最初の分析を提供します。
私たちの理論的結果は、トレーニング サンプルの数が無限に大きい場合でも、ビザンチン エージェントの存在により汎化誤差を完全に排除することはできないことを明らかにしています。
理論結果を確認するために数値実験が行われます。

要約(オリジナル)

Recently, decentralized learning has emerged as a popular peer-to-peer signal and information processing paradigm that enables model training across geographically distributed agents in a scalable manner, without the presence of any central server. When some of the agents are malicious (also termed as Byzantine), resilient decentralized learning algorithms are able to limit the impact of these Byzantine agents without knowing their number and identities, and have guaranteed optimization errors. However, analysis of the generalization errors, which are critical to implementations of the trained models, is still lacking. In this paper, we provide the first analysis of the generalization errors for a class of popular Byzantine-resilient decentralized stochastic gradient descent (DSGD) algorithms. Our theoretical results reveal that the generalization errors cannot be entirely eliminated because of the presence of the Byzantine agents, even if the number of training samples are infinitely large. Numerical experiments are conducted to confirm our theoretical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google