Simple Yet Effective: Extracting Private Data Across Clients in Federated Fine-Tuning of Large Language Models

要約

大規模な言語モデル（FEDLLMS）のフェデレーションされた微調整は、機密ドメインでデータプライバシーを維持しながら、強力なモデルパフォーマンスを達成するための有望なアプローチを提示します。
ただし、LLMSの固有の記憶能力により、データ抽出攻撃のトレーニングに対して脆弱になります。
このリスクを調査するために、FedllMS専用に設計されたシンプルで効果的な抽出攻撃アルゴリズムを導入します。
すべてのトレーニングデータからのフラグメントへのアクセスを想定する以前の「逐語的」抽出攻撃とは対照的に、私たちのアプローチは、より現実的な脅威モデルの下で動作します。攻撃者は、単一のクライアントのデータにのみアクセスし、他のクライアントから以前に見られなかった個人を特定できる情報（PII）を抽出することを目的としています。
これには、クライアント全体で一般化するために攻撃者が保持しているコンテキストプレフィックスを活用する必要があります。
アプローチの有効性を評価するために、2つの厳密なメトリックカバーレートと効率性を提案し、CPI、GDPR、およびCCPA基準に沿ったPIIアノテーションを備えた実世界の法的データセットを拡張し、89.9％の人間の検証精度を達成します。
実験結果は、私たちの方法が被害者専用PIIの最大56.57％を抽出できることを示しています。
私たちの調査結果は、堅牢な防衛戦略の差し迫った必要性を強調し、プライバシーを提供する連邦学習における将来の研究のための新しいベンチマークと評価フレームワークを提供します。

要約(オリジナル)

Federated fine-tuning of large language models (FedLLMs) presents a promising approach for achieving strong model performance while preserving data privacy in sensitive domains. However, the inherent memorization ability of LLMs makes them vulnerable to training data extraction attacks. To investigate this risk, we introduce simple yet effective extraction attack algorithms specifically designed for FedLLMs. In contrast to prior ‘verbatim’ extraction attacks, which assume access to fragments from all training data, our approach operates under a more realistic threat model, where the attacker only has access to a single client’s data and aims to extract previously unseen personally identifiable information (PII) from other clients. This requires leveraging contextual prefixes held by the attacker to generalize across clients. To evaluate the effectiveness of our approaches, we propose two rigorous metrics-coverage rate and efficiency-and extend a real-world legal dataset with PII annotations aligned with CPIS, GDPR, and CCPA standards, achieving 89.9% human-verified precision. Experimental results show that our method can extract up to 56.57% of victim-exclusive PII, with ‘Address,’ ‘Birthday,’ and ‘Name’ being the most vulnerable categories. Our findings underscore the pressing need for robust defense strategies and contribute a new benchmark and evaluation framework for future research in privacy-preserving federated learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google