Private Language Models via Truncated Laplacian Mechanism

要約

NLP タスクの深層学習モデルは、さまざまな種類のプライバシー攻撃を受けやすいです。
プライバシーの漏洩を防ぐために、研究者たちは、埋め込み空間における差分プライバシー (DP) の正式な保証に依存して、ワードレベルの摂動を調査してきました。
ただし、既存のアプローチの多くは、ラプラシアンまたはガウス メカニズムを使用する場合、高プライバシー領域で満足のいくパフォーマンスが得られないか、プライバシー強度の点で標準 DP よりも劣る DP の弱い緩和に頼っています。
このため、これらの制限を克服するために私語埋め込みの新しい方法を設計できるかどうかという疑問が生じます。
この論文では、高次元切断ラプラシアン機構と呼ばれる新しいプライベート埋め込み手法を提案します。
具体的には、以前は 1 次元空間の場合でのみ調査されていた短縮ラプラシアン メカニズムの重要な拡張を導入します。
理論的には、私たちの方法は以前のプライベートワード埋め込み方法と比較して分散が低いことを示します。
その有効性をさらに検証するために、3 つのデータセットを使用してプライベート埋め込みとダウンストリーム タスクに関する包括的な実験を実施します。
注目すべきことに、高度なプライバシー体制であっても、私たちのアプローチは非プライベートのシナリオと比較して実用性がわずかに低下するだけです。

要約(オリジナル)

Deep learning models for NLP tasks are prone to variants of privacy attacks. To prevent privacy leakage, researchers have investigated word-level perturbations, relying on the formal guarantees of differential privacy (DP) in the embedding space. However, many existing approaches either achieve unsatisfactory performance in the high privacy regime when using the Laplacian or Gaussian mechanism, or resort to weaker relaxations of DP that are inferior to the canonical DP in terms of privacy strength. This raises the question of whether a new method for private word embedding can be designed to overcome these limitations. In this paper, we propose a novel private embedding method called the high dimensional truncated Laplacian mechanism. Specifically, we introduce a non-trivial extension of the truncated Laplacian mechanism, which was previously only investigated in one-dimensional space cases. Theoretically, we show that our method has a lower variance compared to the previous private word embedding methods. To further validate its effectiveness, we conduct comprehensive experiments on private embedding and downstream tasks using three datasets. Remarkably, even in the high privacy regime, our approach only incurs a slight decrease in utility compared to the non-private scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google