A Neighbourhood-Aware Differential Privacy Mechanism for Static Word Embeddings

要約

我々は、指定されたプライバシー レベルを保証するために必要な最小ノイズ量を決定するために、事前学習された静的単語埋め込み空間内の単語の近傍を考慮した近隣認識差分プライバシー (NADP) メカニズムを提案します。
まず、単語の埋め込みを使用して単語の最近傍グラフを構築し、それを一連の連結成分 (つまり近傍) に因数分解します。
次に、その近傍内の単語のセットによって決定される、異なるレベルのガウス ノイズを各近傍内の単語に個別に適用します。
実験の結果、私たちが提案した NADP メカニズムは、より高いレベルのプライバシーを保証しながら、複数の下流タスクにおいて、ラプラシアン、ガウス、マハラノビスなど、以前に提案された複数の DP メカニズムよりも一貫して優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

We propose a Neighbourhood-Aware Differential Privacy (NADP) mechanism considering the neighbourhood of a word in a pretrained static word embedding space to determine the minimal amount of noise required to guarantee a specified privacy level. We first construct a nearest neighbour graph over the words using their embeddings, and factorise it into a set of connected components (i.e. neighbourhoods). We then separately apply different levels of Gaussian noise to the words in each neighbourhood, determined by the set of words in that neighbourhood. Experiments show that our proposed NADP mechanism consistently outperforms multiple previously proposed DP mechanisms such as Laplacian, Gaussian, and Mahalanobis in multiple downstream tasks, while guaranteeing higher levels of privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google