GRANITE : a Byzantine-Resilient Dynamic Gossip Learning Framework

要約

ゴシップ学習（GL）は、ユーザーが隣接する仲間のセットとモデルを繰り返し交換して集約する分散型学習パラダイムです。
最近のGLアプローチは、ランダムピアサンプリング（RPS）プロトコルを使用して構築および維持されている動的通信グラフに依存しています。
グラフダイナミクスのおかげで、GLは非常にまばらなトポロジでも高速な収束を実現できます。
ただし、特にビザンチンノードがRPSプロトコルを攻撃してモデル中毒をスケールアップする場合、特にビザンチン（モデル中毒）攻撃に対するダナミックグラフ上のGLの堅牢性は抑留されていません。
この問題に対処し、ビザンチンのノードの一部の存在下で、まばらで動的なグラフを超える堅牢な学習のフレームワークであるGraniteを導入します。
花崗岩は、2つの主要なコンポーネント（i）歴史を認識しているビザンチンに耐性のあるピアサンプリングプロトコル（HAPS）に依存しています。これは、以前に遭遇した識別子を追跡して、時間の経過に伴う敵対的な影響を軽減し、（ii）適応的な確率的な閾値（APT）を追跡します。
経験的結果は、花崗岩が最大30％のビザンチンノードで収束を維持し、毒モデルの適応フィルタリングを介して学習速度を改善し、現在の理論で決定されるよりも最大9倍のスパースのグラフでこれらの結果を得ることを確認します。

要約(オリジナル)

Gossip Learning (GL) is a decentralized learning paradigm where users iteratively exchange and aggregate models with a small set of neighboring peers. Recent GL approaches rely on dynamic communication graphs built and maintained using Random Peer Sampling (RPS) protocols. Thanks to graph dynamics, GL can achieve fast convergence even over extremely sparse topologies. However, the robustness of GL over dy- namic graphs to Byzantine (model poisoning) attacks remains unaddressed especially when Byzantine nodes attack the RPS protocol to scale up model poisoning. We address this issue by introducing GRANITE, a framework for robust learning over sparse, dynamic graphs in the presence of a fraction of Byzantine nodes. GRANITE relies on two key components (i) a History-aware Byzantine-resilient Peer Sampling protocol (HaPS), which tracks previously encountered identifiers to reduce adversarial influence over time, and (ii) an Adaptive Probabilistic Threshold (APT), which leverages an estimate of Byzantine presence to set aggregation thresholds with formal guarantees. Empirical results confirm that GRANITE maintains convergence with up to 30% Byzantine nodes, improves learning speed via adaptive filtering of poisoned models and obtains these results in up to 9 times sparser graphs than dictated by current theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google