Geminio: Language-Guided Gradient Inversion Attacks in Federated Learning

要約

視覚と言語の橋渡しをする基礎モデルは大幅な進歩を遂げ、生活を豊かにする数多くのアプリケーションにインスピレーションを与えています。
しかし、新たな脅威をもたらす悪用の可能性については、まだほとんど解明されていません。
この論文では、視覚言語モデル (VLM) を利用して、フェデレーテッド ラーニング (FL) 内の勾配反転攻撃 (GIA) における長年の制限を克服できることを明らかにします。この攻撃では、FL サーバーが被害者のクライアントによって共有された勾配からプライベート データ サンプルを再構築します。
現在の GIA は、特に被害者が大規模なローカル データ バッチを持っている場合、高解像度画像を再構築する際に課題に直面しています。
バッチ全体ではなく貴重なサンプルに焦点を当てて再構築することは有望ですが、既存の手法には攻撃者がターゲット データを指定できる柔軟性がありません。
このペーパーでは、GIA を意味的に意味のある標的型攻撃に変換する最初のアプローチである Geminio を紹介します。
Geminio は、まったく新しいプライバシー攻撃エクスペリエンスを可能にします。攻撃者は、価値があると考えるデータの種類を自然言語で記述することができ、Geminio は、それらの価値の高いサンプルに焦点を当てるために再構成を優先します。
これは、事前トレーニング済みの VLM を利用して悪意のあるグローバル モデルの最適化をガイドすることで実現されます。このモデルは、被害者と共有され、被害者によって最適化されると、攻撃者が指定したクエリに一致するサンプルの勾配のみを保持します。
広範な実験により、ターゲットサンプルの特定と再構築における Geminio の有効性が実証され、FL および大規模なバッチサイズの複雑なデータセット全体で高い成功率を示し、既存の防御に対する回復力を示しています。

要約(オリジナル)

Foundation models that bridge vision and language have made significant progress, inspiring numerous life-enriching applications. However, their potential for misuse to introduce new threats remains largely unexplored. This paper reveals that vision-language models (VLMs) can be exploited to overcome longstanding limitations in gradient inversion attacks (GIAs) within federated learning (FL), where an FL server reconstructs private data samples from gradients shared by victim clients. Current GIAs face challenges in reconstructing high-resolution images, especially when the victim has a large local data batch. While focusing reconstruction on valuable samples rather than the entire batch is promising, existing methods lack the flexibility to allow attackers to specify their target data. In this paper, we introduce Geminio, the first approach to transform GIAs into semantically meaningful, targeted attacks. Geminio enables a brand new privacy attack experience: attackers can describe, in natural language, the types of data they consider valuable, and Geminio will prioritize reconstruction to focus on those high-value samples. This is achieved by leveraging a pretrained VLM to guide the optimization of a malicious global model that, when shared with and optimized by a victim, retains only gradients of samples that match the attacker-specified query. Extensive experiments demonstrate Geminio’s effectiveness in pinpointing and reconstructing targeted samples, with high success rates across complex datasets under FL and large batch sizes and showing resilience against existing defenses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google