P-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models

要約

言語モデル (LM) の急速な開発により、モデルとユーザーの両方に前例のないアクセシビリティと使用法がもたらされます。
一方で、大量のテキスト データでトレーニングされた強力な LM は、多数の下流の NLP タスクで最先端のパフォーマンスを達成します。
一方で、データ漏洩という悪意のあるプライバシーリスクをもたらす可能性がある無制限のモデルアクセスにますます注目が集まっています。
これらの問題に対処するために、最近の多くの研究では、差分プライバシー (DP) を備えたプライバシー保護言語モデル (PPLM) が提案されています。
残念ながら、DP の実装が異なるため、既存の PPLM 間の公正な比較が困難になります。
この論文では、LM のプライバシー漏洩を経験的かつ直観的に定量化するための多視点プライバシー評価ベンチマークである P-Bench を紹介します。
P-Bench は、DP パラメーターを使用して保護されたデータのプライバシーを保護および測定するだけでなく、実際の使用中に無視されている推論データのプライバシーに光を当てます。
P-Bench は、プライベートの微調整中に、まず多面的なプライバシー目標を明確に定義します。
次に、P-Bench は、プライベート微調整を実行するための統合パイプラインを構築します。
最後に、P-Bench は、経験的評価結果として事前に定義されたプライバシー目標を使用して、LM に対して既存のプライバシー攻撃を実行します。
経験的な攻撃結果は、さまざまな PPLM のプライバシー漏洩を公平かつ直観的に評価するために使用されます。
私たちは、主流の LM 向けに GLUE の 3 つのデータセットに対して広範な実験を行っています。

要約(オリジナル)

The rapid development of language models (LMs) brings unprecedented accessibility and usage for both models and users. On the one hand, powerful LMs, trained with massive textual data, achieve state-of-the-art performance over numerous downstream NLP tasks. On the other hand, more and more attention is paid to unrestricted model accesses that may bring malicious privacy risks of data leakage. To address these issues, many recent works propose privacy-preserving language models (PPLMs) with differential privacy (DP). Unfortunately, different DP implementations make it challenging for a fair comparison among existing PPLMs. In this paper, we present P-Bench, a multi-perspective privacy evaluation benchmark to empirically and intuitively quantify the privacy leakage of LMs. Instead of only protecting and measuring the privacy of protected data with DP parameters, P-Bench sheds light on the neglected inference data privacy during actual usage. P-Bench first clearly defines multi-faceted privacy objectives during private fine-tuning. Then, P-Bench constructs a unified pipeline to perform private fine-tuning. Lastly, P-Bench performs existing privacy attacks on LMs with pre-defined privacy objectives as the empirical evaluation results. The empirical attack results are used to fairly and intuitively evaluate the privacy leakage of various PPLMs. We conduct extensive experiments on three datasets of GLUE for mainstream LMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google