Network Fault-tolerant and Byzantine-resilient Social Learning via Collaborative Hierarchical Non-Bayesian Learning

要約

ネットワーク規模が増大するにつれて、既存の完全分散ソリューションは、(1) 情報伝播の遅さ、(2) ネットワーク通信障害、(3) 外部敵対的攻撃などの現実世界の課題に後れを取り始めます。
この論文では、階層システム アーキテクチャに焦点を当て、通信障害や敵対的攻撃に対して脆弱なネットワーク上の非ベイジアン学習の問題に取り組みます。
ネットワーク通信では、パケット ドロップによるリンク障害を考慮します。
我々はまず、頻繁なパケットドロップリンク障害にもかかわらず平均的なコンセンサスを達成できる階層型の堅牢なプッシュサムアルゴリズムを提案します。
パラメータサーバーと任意に選択されたネットワーク代表者との間にスパース情報融合ルールを提供します。
次に、コンセンサス更新ステップとカルバック・ライブラー (KL) 発散を近似関数とする二重平均更新をインターリーブすることで、証明可能な収束保証を備えたパケットドロップフォールトトレラントな非ベイジアン学習アルゴリズムが得られます。
外部の敵対的攻撃については、侵害されたエージェントが悪意を持って調整されたメッセージを他のエージェント (エージェントとパラメータ サーバーの両方を含む) に送信できるビザンチン攻撃を検討します。
ビザンチン コンセンサスの次元性の呪いを回避するために、複数のダイナミクスを実行することで非ベイジアン学習問題を解決します。各ダイナミクスにはスカラー入力を持つビザンチン コンセンサスのみが含まれます。
サブネットワーク全体での復元力のある情報伝播を促進するために、パラメーター サーバーで新しいビザンチン復元力のあるゴシップ タイプのルールを使用します。

要約(オリジナル)

As the network scale increases, existing fully distributed solutions start to lag behind the real-world challenges such as (1) slow information propagation, (2) network communication failures, and (3) external adversarial attacks. In this paper, we focus on hierarchical system architecture and address the problem of non-Bayesian learning over networks that are vulnerable to communication failures and adversarial attacks. On network communication, we consider packet-dropping link failures. We first propose a hierarchical robust push-sum algorithm that can achieve average consensus despite frequent packet-dropping link failures. We provide a sparse information fusion rule between the parameter server and arbitrarily selected network representatives. Then, interleaving the consensus update step with a dual averaging update with Kullback-Leibler (KL) divergence as the proximal function, we obtain a packet-dropping fault-tolerant non-Bayesian learning algorithm with provable convergence guarantees. On external adversarial attacks, we consider Byzantine attacks in which the compromised agents can send maliciously calibrated messages to others (including both the agents and the parameter server). To avoid the curse of dimensionality of Byzantine consensus, we solve the non-Bayesian learning problem via running multiple dynamics, each of which only involves Byzantine consensus with scalar inputs. To facilitate resilient information propagation across sub-networks, we use a novel Byzantine-resilient gossiping-type rule at the parameter server.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google