Robust Distributed Estimation: Extending Gossip Algorithms to Ranking and Trimmed Means

要約

この論文では、任意の通信グラフ上のゴシップアルゴリズムの堅牢な推定の問題に対処します。
ゴシップアルゴリズムは完全に分散化されており、地元の隣人から隣人のコミュニケーションにのみ依存しているため、コミュニケーションが制約されている状況に適しています。
既存の平均ベースのゴシップアルゴリズムの基本的な課題は、悪意のあるノードまたは破損したノードに対する脆弱性です。
この論文では、堅牢な統計をグローバルに推定することにより、外れ値の頑丈な平均を計算できることを示します。
より具体的には、\ textsc {gorank}と呼ばれるランク推定のための新しいゴシップアルゴリズムを提案し、それを活用して、\ textsc {gotrim}を作成した平均推定をトリミングしたゴシップ手順を設計します。
提案された方法の詳細な説明に加えて、私たちの作業の重要な貢献は正確な収束分析です。ランク推定のために$ \ mathcal {o}（1/t）$レートを確立し、$ \ mathcal {o}（\ log（t）/t）$ $ reate for trimmed平均推定で、$ t $はiteminationの数を意味します。
さらに、\ textsc {gotrim}の分解点分析を提供します。
多様なネットワークトポロジ、データ分布、汚染スキームに関する実験を通じて、理論的結果を経験的に検証します。

要約(オリジナル)

This paper addresses the problem of robust estimation in gossip algorithms over arbitrary communication graphs. Gossip algorithms are fully decentralized, relying only on local neighbor-to-neighbor communication, making them well-suited for situations where communication is constrained. A fundamental challenge in existing mean-based gossip algorithms is their vulnerability to malicious or corrupted nodes. In this paper, we show that an outlier-robust mean can be computed by globally estimating a robust statistic. More specifically, we propose a novel gossip algorithm for rank estimation, referred to as \textsc{GoRank}, and leverage it to design a gossip procedure dedicated to trimmed mean estimation, coined \textsc{GoTrim}. In addition to a detailed description of the proposed methods, a key contribution of our work is a precise convergence analysis: we establish an $\mathcal{O}(1/t)$ rate for rank estimation and an $\mathcal{O}(\log(t)/t)$ rate for trimmed mean estimation, where by $t$ is meant the number of iterations. Moreover, we provide a breakdown point analysis of \textsc{GoTrim}. We empirically validate our theoretical results through experiments on diverse network topologies, data distributions and contamination schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google