OLIVE: Oblivious Federated Learning on Trusted Execution Environment against the risk of sparsification

要約

タイトル：信頼性のある実行環境におけるスパース化のリスクに対する忘却型フェデレーテッド・ラーニングOLIVE

要約：

– フェデレーテッド・ラーニング（FL）と信頼性のある実行環境（TEE）を組み合わせることは、近年、盛んに注目されているプライバシーを保護するFLの実現方法である。
– サーバーサイドにTEEを実装することで、FLの各ラウンドをクライアントの勾配情報を不審なサーバーに公開することなく進めることができるため、既存の安全な集計方式の使い勝手の問題や、差分プライバシーFLのユーティリティの問題を解決できる。
– しかし、TEEを利用するためには、サーバーサイドのTEEの脆弱性を考慮する必要があるが、これはFLの文脈で十分に調査されていない。
– 本研究の主要な技術的貢献は、FLにおけるTEEの脆弱性の分析とその防御である。
– まず、メモリアクセスパターンの漏洩を理論的に分析し、通信効率とモデル精度を向上させるためにFLで一般的に使用されるスパース化勾配のリスクを明らかにする。
– 次に、メモリアクセスパターンを訓練データセット内の機密情報に関連付ける推論攻撃を考案する。
– 最後に、メモリアクセスパターンの漏洩を防止する忘却型の効率的な集計アルゴリズムを提案する。
– 実世界のデータに対する実験では、提案された方法が実用的なスケールで効率的に機能することを示している。

要約(オリジナル)

Combining Federated Learning (FL) with a Trusted Execution Environment (TEE) is a promising approach for realizing privacy-preserving FL, which has garnered significant academic attention in recent years. Implementing the TEE on the server side enables each round of FL to proceed without exposing the client’s gradient information to untrusted servers. This addresses usability gaps in existing secure aggregation schemes as well as utility gaps in differentially private FL. However, to address the issue using a TEE, the vulnerabilities of server-side TEEs need to be considered — this has not been sufficiently investigated in the context of FL. The main technical contribution of this study is the analysis of the vulnerabilities of TEE in FL and the defense. First, we theoretically analyze the leakage of memory access patterns, revealing the risk of sparsified gradients, which are commonly used in FL to enhance communication efficiency and model accuracy. Second, we devise an inference attack to link memory access patterns to sensitive information in the training dataset. Finally, we propose an oblivious yet efficient aggregation algorithm to prevent memory access pattern leakage. Our experiments on real-world data demonstrate that the proposed method functions efficiently in practical scales.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI