Trial and Trust: Addressing Byzantine Attacks with Comprehensive Defense Strategy

要約

機械学習の最近の進歩により、パフォーマンスが向上し、計算需要が増加しています。
フェデレーションおよび分散セットアップはこれらの問題に対処していますが、その構造は悪意のある影響に対して脆弱です。
この論文では、特定の脅威であるビザンチン攻撃に対処します。そこでは、侵害されたクライアントがグローバルな収束を脱線させるために敵対的な更新を注入します。
Trust Scores Conceptと試験機能方法論を組み合わせて、外れ値を動的にフィルタリングします。
私たちの方法は、以前のアプローチの重要な制限に対処し、ビザンチンノードが大多数ある場合でも機能を可能にします。
さらに、私たちのアルゴリズムは、AdamやRMSPropなどの広く使用されているスケーリングされた方法、およびローカルトレーニングや部分参加などの実用的なシナリオに適応します。
医療機関から収集された合成および実際のECGデータの両方で広範な実験を実施することにより、方法の堅牢性を検証します。
さらに、アルゴリズムの幅広い理論分析と、前述の実用的なセットアップに対する拡張を提供します。
私たちの方法の収束保証は、ビザンチンの干渉なしに開発された古典的なアルゴリズムの収束保証に匹敵します。

要約(オリジナル)

Recent advancements in machine learning have improved performance while also increasing computational demands. While federated and distributed setups address these issues, their structure is vulnerable to malicious influences. In this paper, we address a specific threat, Byzantine attacks, where compromised clients inject adversarial updates to derail global convergence. We combine the trust scores concept with trial function methodology to dynamically filter outliers. Our methods address the critical limitations of previous approaches, allowing functionality even when Byzantine nodes are in the majority. Moreover, our algorithms adapt to widely used scaled methods like Adam and RMSProp, as well as practical scenarios, including local training and partial participation. We validate the robustness of our methods by conducting extensive experiments on both synthetic and real ECG data collected from medical institutions. Furthermore, we provide a broad theoretical analysis of our algorithms and their extensions to aforementioned practical setups. The convergence guarantees of our methods are comparable to those of classical algorithms developed without Byzantine interference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google