Extracting Spatiotemporal Data from Gradients with Large Language Models

要約

最近の研究では、ユーザーの機密データが勾配更新から再構築され、フェデレーテッド ラーニングの重要なプライバシーの約束が破られる可能性があることが示されています。
成功は主に画像データで実証されましたが、これらの方法は時空間データなどの他の領域に直接転送されません。
時空間連合学習におけるプライバシー リスクを理解するために、まず、時空間勾配反転攻撃 (ST-GIA) を提案します。これは、勾配から元の位置を首尾よく再構築する、時空間データに合わせた勾配攻撃アルゴリズムです。
さらに、時空間データに対する攻撃には事前分布が存在しないため、実際のクライアント データの正確な再構築が妨げられています。
この制限に対処するために、補助言語モデルを利用して潜在的な場所の検索をガイドし、それによって勾配から元のデータを首尾よく再構築する ST-GIA+ を提案します。
さらに、時空間連合学習における勾配反転攻撃を軽減するための適応防御戦略を設計します。
摂動レベルを動的に調整することで、さまざまなラウンドのトレーニング データに合わせた保護を提供できるため、現在の最先端の方法よりもプライバシーと実用性の間で優れたトレードオフを実現できます。
3 つの現実世界のデータセットに対する集中的な実験分析を通じて、提案された防御戦略が効果的なセキュリティ保護を備えた時空間連合学習の有用性を十分に維持できることを明らかにしました。

要約(オリジナル)

Recent works show that sensitive user data can be reconstructed from gradient updates, breaking the key privacy promise of federated learning. While success was demonstrated primarily on image data, these methods do not directly transfer to other domains, such as spatiotemporal data. To understand privacy risks in spatiotemporal federated learning, we first propose Spatiotemporal Gradient Inversion Attack (ST-GIA), a gradient attack algorithm tailored to spatiotemporal data that successfully reconstructs the original location from gradients. Furthermore, the absence of priors in attacks on spatiotemporal data has hindered the accurate reconstruction of real client data. To address this limitation, we propose ST-GIA+, which utilizes an auxiliary language model to guide the search for potential locations, thereby successfully reconstructing the original data from gradients. In addition, we design an adaptive defense strategy to mitigate gradient inversion attacks in spatiotemporal federated learning. By dynamically adjusting the perturbation levels, we can offer tailored protection for varying rounds of training data, thereby achieving a better trade-off between privacy and utility than current state-of-the-art methods. Through intensive experimental analysis on three real-world datasets, we reveal that the proposed defense strategy can well preserve the utility of spatiotemporal federated learning with effective security protection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google