Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers

要約

ビザンチン機械学習は、大規模な分散学習システムで発生する可能性のある予測不可能な障害を考慮して、大きな注目を集めています。
分散学習においてビザンチンマシンに対する復元力を確保する鍵となるのは、復元力のある集約メカニズムです。
回復力のある集計ルールが多数提案されていますが、それらはアドホックな方法で設計されており、パフォーマンス基準全体でルールを比較、分析、改善する際に余分な障壁を課しています。
この論文では、外れ値が存在する場合のクラスタリングを使用した、最適に近い集計ルールを研究します。
私たちの異常値に強いクラスタリング アプローチは、ワーカーによって提供される更新ベクトルの幾何学的特性を利用します。
私たちの分析では、外れ値を含む 1 中心および 1 平均のクラスタリング問題に対する一定の近似が、メトリクスベースの基準に対して最適に近い復元力のあるアグリゲーターを提供することを示しており、これはそれぞれ均一および異種のケースで重要であることが証明されています。
さらに、単一の集計ルールが単純平均を改善する保証がない 2 つの相反するタイプの攻撃について説明します。
議論に基づいて、2 フェーズの復元力のある集約フレームワークを提案します。
非凸損失関数を使用して画像分類の実験を実行します。
提案されたアルゴリズムは、障害のないワーカー間の同種および異種の両方のデータ分散において、以前に知られていた集計ルールを大幅に上回ります。
コードと付録は https://github.com/jerry907/AAAI24-RASHB で入手できます。

要約(オリジナル)

Byzantine machine learning has garnered considerable attention in light of the unpredictable faults that can occur in large-scale distributed learning systems. The key to secure resilience against Byzantine machines in distributed learning is resilient aggregation mechanisms. Although abundant resilient aggregation rules have been proposed, they are designed in ad-hoc manners, imposing extra barriers on comparing, analyzing, and improving the rules across performance criteria. This paper studies near-optimal aggregation rules using clustering in the presence of outliers. Our outlier-robust clustering approach utilizes geometric properties of the update vectors provided by workers. Our analysis show that constant approximations to the 1-center and 1-mean clustering problems with outliers provide near-optimal resilient aggregators for metric-based criteria, which have been proven to be crucial in the homogeneous and heterogeneous cases respectively. In addition, we discuss two contradicting types of attacks under which no single aggregation rule is guaranteed to improve upon the naive average. Based on the discussion, we propose a two-phase resilient aggregation framework. We run experiments for image classification using a non-convex loss function. The proposed algorithms outperform previously known aggregation rules by a large margin with both homogeneous and heterogeneous data distributions among non-faulty workers. Code and appendix are available at https://github.com/jerry907/AAAI24-RASHB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google