Private Aggregation for Byzantine-Resilient Heterogeneous Federated Learning

要約

クライアントのデータのプライバシーを維持しながら、ビザンチンのクライアントに回復力を確保することは、フェデレートラーニング（FL）の基本的な課題です。
クライアントのデータが均質である場合、クライアントの勾配の堅牢な集約を確保しながら、安全な集約技術を利用した情報理論的な観点から適切な対策が研究されました。
ただし、使用された対策は、クライアントのデータが不均一である場合に失敗します。
最近隣接する混合などの適切な前処理技術は、最近、不均一な設定でのこれらの対策の性能を向上させることが示されました。
それにもかかわらず、これらの前処理手法は、導入されたプライバシーを提供するメカニズムでは適用することはできません。
検証可能な秘密共有、安全な集約、および情報理論的プライバシー保証とデータの不均一性の下でのビザンチンの回復力を達成するための調整された対称的な個人情報検索スキームの慎重な共同設計を含む多段階の方法を提案します。
さまざまな攻撃に対するスキームの有効性を評価し、以前に既知のテクニックよりも優れていることを示します。
安全な集約の通信オーバーヘッドは無視できないため、最先端のFLタスクの通信コストを削減し、それによりプライベート集約をスケーラブルにするゼロ次の推定方法との相互作用を調査します。

要約(オリジナル)

Ensuring resilience to Byzantine clients while maintaining the privacy of the clients’ data is a fundamental challenge in federated learning (FL). When the clients’ data is homogeneous, suitable countermeasures were studied from an information-theoretic perspective utilizing secure aggregation techniques while ensuring robust aggregation of the clients’ gradients. However, the countermeasures used fail when the clients’ data is heterogeneous. Suitable pre-processing techniques, such as nearest neighbor mixing, were recently shown to enhance the performance of those countermeasures in the heterogeneous setting. Nevertheless, those pre-processing techniques cannot be applied with the introduced privacy-preserving mechanisms. We propose a multi-stage method encompassing a careful co-design of verifiable secret sharing, secure aggregation, and a tailored symmetric private information retrieval scheme to achieve information-theoretic privacy guarantees and Byzantine resilience under data heterogeneity. We evaluate the effectiveness of our scheme on a variety of attacks and show how it outperforms the previously known techniques. Since the communication overhead of secure aggregation is non-negligible, we investigate the interplay with zero-order estimation methods that reduce the communication cost in state-of-the-art FL tasks and thereby make private aggregation scalable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google