Resilient Peer-to-peer Learning based on Adaptive Aggregation

要約

ピアツーピア ネットワークでの共同学習は、集中型サーバーに固有の単一障害点に関連するリスクを軽減しながら、分散学習の利点を提供します。
ただし、敵対的なワーカーは、ネットワークに悪意のある情報を注入しようとすることで、潜在的な脅威をもたらします。
したがって、ピアツーピア学習の回復力を確保することが極めて重要な研究目標として浮上しています。
この課題は、非凸損失関数と非 iid データ分布が存在する場合にはさらに悪化します。
このペーパーでは、ピアの学習プロセス間の類似性を促進することを目的として、そのようなシナリオに合わせて調整された回復力のある集計手法を紹介します。
集約の重みは最適化手順を通じて決定され、近隣モデルと個々のプライベート データを使用して計算された損失関数を使用するため、分散機械学習におけるデータ プライバシーに関する懸念に対処できます。
理論分析により、非凸損失関数と非 iid データ分布によるパラメーターの収束が実証されます。
3 つの異なる機械学習タスクにわたる経験的評価がこの主張を裏付けています。
さまざまな多様な攻撃モデルを含む経験的調査結果は、既存の手法と比較して精度が向上していることも示しています。

要約(オリジナル)

Collaborative learning in peer-to-peer networks offers the benefits of distributed learning while mitigating the risks associated with single points of failure inherent in centralized servers. However, adversarial workers pose potential threats by attempting to inject malicious information into the network. Thus, ensuring the resilience of peer-to-peer learning emerges as a pivotal research objective. The challenge is exacerbated in the presence of non-convex loss functions and non-iid data distributions. This paper introduces a resilient aggregation technique tailored for such scenarios, aimed at fostering similarity among peers’ learning processes. The aggregation weights are determined through an optimization procedure, and use the loss function computed using the neighbor’s models and individual private data, thereby addressing concerns regarding data privacy in distributed machine learning. Theoretical analysis demonstrates convergence of parameters with non-convex loss functions and non-iid data distributions. Empirical evaluations across three distinct machine learning tasks support the claims. The empirical findings, which encompass a range of diverse attack models, also demonstrate improved accuracy when compared to existing methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google