Scale-MIA: A Scalable Model Inversion Attack against Secure Federated Learning via Latent Space Reconstruction

要約

Federated Learning は、参加者のデータ プライバシーを保護する機能で知られています。
しかし、最近出現したモデル反転攻撃 (MIA) は、悪意のあるパラメータ サーバーがモデルの更新を通じて個々のユーザーのローカル データ サンプルを再構築できることを示しています。
最先端の攻撃は、計算集約型の検索ベースの最適化プロセスに依存して各入力バッチを回復し、スケーリングを困難にするか、悪意のあるパラメータ サーバーがグローバル モデル アーキテクチャの前に追加のモジュールを追加して攻撃をレンダリングするかのいずれかです。
目立つし、簡単に発見できる。
これらの制限を克服するために、システムが堅牢で安全な集約プロトコルの保護下にある場合でも、集約された更新からクライアントのトレーニング サンプルを効率的かつ正確に回復できる新しい MIA である Scale-MIA を提案します。
モデルをブラック ボックスとして扱う既存のアプローチとは異なり、Scale-MIA は機械学習モデルの複雑なアーキテクチャと内部動作の重要性を認識しています。
潜在空間をプライバシー侵害の重要な層として特定し、複雑な回復タスクを革新的な 2 段階のプロセスに分解して計算の複雑さを軽減します。
最初のステップでは、特別に細工された敵対的線形層を利用して、閉じた形式の反転メカニズムを使用して、集約されたモデルの更新から潜在空間表現 (LSR) を再構築します。
2 番目のステップでは、LSR を微調整された生成デコーダーに入力することにより、入力バッチ全体が LSR から復元されます。
私たちは、一般的に使用されている複数の機械学習モデルに Scale-MIA を実装し、さまざまな設定にわたって包括的な実験を実施しました。
結果は、Scale-MIA がさまざまなデータセットで優れた回復パフォーマンスを達成し、最先端の MIA と比較して大規模なスケールで高い再構成率、精度、攻撃効率を示していることを示しています。

要約(オリジナル)

Federated learning is known for its capability to safeguard participants’ data privacy. However, recently emerged model inversion attacks (MIAs) have shown that a malicious parameter server can reconstruct individual users’ local data samples through model updates. The state-of-the-art attacks either rely on computation-intensive search-based optimization processes to recover each input batch, making scaling difficult, or they involve the malicious parameter server adding extra modules before the global model architecture, rendering the attacks too conspicuous and easily detectable. To overcome these limitations, we propose Scale-MIA, a novel MIA capable of efficiently and accurately recovering training samples of clients from the aggregated updates, even when the system is under the protection of a robust secure aggregation protocol. Unlike existing approaches treating models as black boxes, Scale-MIA recognizes the importance of the intricate architecture and inner workings of machine learning models. It identifies the latent space as the critical layer for breaching privacy and decomposes the complex recovery task into an innovative two-step process to reduce computation complexity. The first step involves reconstructing the latent space representations (LSRs) from the aggregated model updates using a closed-form inversion mechanism, leveraging specially crafted adversarial linear layers. In the second step, the whole input batches are recovered from the LSRs by feeding them into a fine-tuned generative decoder. We implemented Scale-MIA on multiple commonly used machine learning models and conducted comprehensive experiments across various settings. The results demonstrate that Scale-MIA achieves excellent recovery performance on different datasets, exhibiting high reconstruction rates, accuracy, and attack efficiency on a larger scale compared to state-of-the-art MIAs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google