FheFL: Fully Homomorphic Encryption Friendly Privacy-Preserving Federated Learning with Byzantine Users

要約

フェデレーテッド ラーニング (FL) 技術は、当初、従来の機械学習パラダイムで発生する可能性のあるデータ プライバシーの問題を軽減するために開発されました。
FL はユーザーのデータが常にユーザーに残ることを保証しますが、グローバル モデルを構築するには、ローカルでトレーニングされたモデルの勾配を集中サーバーと通信する必要があります。
これにより、サーバーが共有された勾配からユーザーのデータの個人情報を推測する可能性があり、プライバシーの漏洩が発生します。
この欠陥を軽減するために、次世代 FL アーキテクチャでは、サーバーからのモデル更新を保護するための暗号化および匿名化技術が提案されました。
ただし、このアプローチでは、悪意のあるユーザーが偽の勾配を共有することでグローバル モデルを妨害する可能性があるなど、別の課題も生じます。
グラデーションが暗号化されているため、サーバーはグローバル モデルを保護する不正ユーザーを識別して排除することができません。
したがって、両方の攻撃を軽減するために、この論文では FL に適した新しい完全準同型暗号化 (FHE) ベースの方式を提案します。
1 対 1 の単一キー Cheon-Kim-Kim-Song (CKKS) ベースの FHE スキームを、FL でのモデル集約をサポートする分散マルチキー加法準同型暗号化スキームに変更します。
当社は、暗号化ドメイン内で新しい集約スキームを採用し、ユーザーの非ポイズニング率を利用して、提案された暗号化スキームによってプライバシーが確実に保護されながら、データポイズニング攻撃に効果的に対処します。
厳密なセキュリティ、プライバシー、コンバージェンス、および実験分析が提供され、FheFL が新規で安全かつプライベートであり、妥当な計算コストで同等の精度を達成できることが示されています。

要約(オリジナル)

The federated learning (FL) technique was initially developed to mitigate data privacy issues that can arise in the traditional machine learning paradigm. While FL ensures that a user’s data always remain with the user, the gradients of the locally trained models must be communicated with the centralized server to build the global model. This results in privacy leakage, where the server can infer private information of the users’ data from the shared gradients. To mitigate this flaw, the next-generation FL architectures proposed encryption and anonymization techniques to protect the model updates from the server. However, this approach creates other challenges, such as a malicious user might sabotage the global model by sharing false gradients. Since the gradients are encrypted, the server is unable to identify and eliminate rogue users which would protect the global model. Therefore, to mitigate both attacks, this paper proposes a novel fully homomorphic encryption (FHE) based scheme suitable for FL. We modify the one-to-one single-key Cheon-Kim-Kim-Song (CKKS)-based FHE scheme into a distributed multi-key additive homomorphic encryption scheme that supports model aggregation in FL. We employ a novel aggregation scheme within the encrypted domain, utilizing users’ non-poisoning rates, to effectively address data poisoning attacks while ensuring privacy is preserved by the proposed encryption scheme. Rigorous security, privacy, convergence, and experimental analyses have been provided to show that FheFL is novel, secure, and private, and achieves comparable accuracy at reasonable computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google