zPROBE: Zero Peek Robustness Checks for Federated Learning

要約

プライバシーを保護したフェデレーテッド ラーニングにより、複数のユーザーが中央サーバーの調整により共同でモデルをトレーニングできます。
サーバーは最終的な集計結果のみを学習するため、ユーザーの (プライベート) トレーニング データが個々のモデルの更新から漏洩することはありません。
ただし、個々の更新を非公開にしておくと、悪意のあるユーザーがビザンチン攻撃を実行し、検出されずに精度が低下する可能性があります。
ビザンチンワーカーに対する既存の最良の防御策は、悪意のあるアップデートを見つけるために、堅牢なランクベースの統計 (中央値など) に依存しています。
ただし、プライバシーを保護するランクベースの統計の実装は簡単ではなく、すべての個別の更新を並べ替える必要があるため、安全なドメインでは拡張性がありません。
私たちは、集約されたモデル更新に関するハイ ブレーク ポイントのランクベースの統計を使用する、最初のプライベート堅牢性チェックを確立します。
ランダム化されたクラスタリングを活用することで、プライバシーを損なうことなく防御のスケーラビリティを大幅に向上させます。
ゼロ知識証明の統計限界を活用して、プライベート ユーザーの更新を明らかにすることなく、悪意のある更新を検出して削除します。
当社の新しいフレームワークである zPROBE は、ビザンチンの回復力と安全なフェデレーテッド ラーニングを可能にします。
実証的評価により、zPROBE は、プライバシーを保護しながら最先端のビザンチン攻撃を防御する低オーバーヘッド ソリューションを提供することが実証されています。

要約(オリジナル)

Privacy-preserving federated learning allows multiple users to jointly train a model with coordination of a central server. The server only learns the final aggregation result, thus the users’ (private) training data is not leaked from the individual model updates. However, keeping the individual updates private allows malicious users to perform Byzantine attacks and degrade the accuracy without being detected. Best existing defenses against Byzantine workers rely on robust rank-based statistics, e.g., median, to find malicious updates. However, implementing privacy-preserving rank-based statistics is nontrivial and not scalable in the secure domain, as it requires sorting all individual updates. We establish the first private robustness check that uses high break point rank-based statistics on aggregated model updates. By exploiting randomized clustering, we significantly improve the scalability of our defense without compromising privacy. We leverage our statistical bounds in zero-knowledge proofs to detect and remove malicious updates without revealing the private user updates. Our novel framework, zPROBE, enables Byzantine resilient and secure federated learning. Empirical evaluations demonstrate that zPROBE provides a low overhead solution to defend against state-of-the-art Byzantine attacks while preserving privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google