Defending Against Data Reconstruction Attacks in Federated Learning: An Information Theory Approach

要約

Federated Learning(FL)は、直接データを共有する代わりにパラメータを交換することで、異なるクライアント間でブラックボックス化された高次元モデルを学習し、機械学習で発生するプライバシー漏洩を軽減する。しかし、FLは依然としてメンバーシップ推論攻撃（MIA）やデータ再構築攻撃（DRA）に悩まされている。特に、攻撃者はDRAを構築することによりローカルデータセットから情報を抽出することができるが、これは既存の技術、例えば差分プライバシー（DP）では効果的に阻止することができない。 本論文では、DRAの下でのFLの強力なプライバシー保証を目指す。DRAの下での再構成エラーは攻撃者が取得した情報によって制約されることを証明し、これは送信情報を制約することでDRAを効果的に抑制できることを意味する。FLによって生じる情報漏洩を定量化するために、ローカルデータセットと複数の送信パラメータ間の結合相互情報の上限値に依存するチャネルモデルを確立する。さらに、このチャネルモデルは、データ空間操作によって送信情報を制約できることを示し、制約された情報下での学習効率とモデル精度を向上させることができる。このチャネルモデルに基づき、1回のローカルトレーニングで送信される情報を制約するアルゴリズムを提案する。限られた訓練ラウンド数で、アルゴリズムは伝送される情報の総量を確実に制限する。さらに、我々のチャネルモデルは、DRAに対するプライバシー保証を強化するために、様々なプライバシー強化技術（DPなど）に適用することができる。実世界のデータセットを用いた広範な実験により、我々の手法の有効性を検証する。

要約(オリジナル)

Federated Learning (FL) trains a black-box and high-dimensional model among different clients by exchanging parameters instead of direct data sharing, which mitigates the privacy leak incurred by machine learning. However, FL still suffers from membership inference attacks (MIA) or data reconstruction attacks (DRA). In particular, an attacker can extract the information from local datasets by constructing DRA, which cannot be effectively throttled by existing techniques, e.g., Differential Privacy (DP). In this paper, we aim to ensure a strong privacy guarantee for FL under DRA. We prove that reconstruction errors under DRA are constrained by the information acquired by an attacker, which means that constraining the transmitted information can effectively throttle DRA. To quantify the information leakage incurred by FL, we establish a channel model, which depends on the upper bound of joint mutual information between the local dataset and multiple transmitted parameters. Moreover, the channel model indicates that the transmitted information can be constrained through data space operation, which can improve training efficiency and the model accuracy under constrained information. According to the channel model, we propose algorithms to constrain the information transmitted in a single round of local training. With a limited number of training rounds, the algorithms ensure that the total amount of transmitted information is limited. Furthermore, our channel model can be applied to various privacy-enhancing techniques (such as DP) to enhance privacy guarantees against DRA. Extensive experiments with real-world datasets validate the effectiveness of our methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL