Disentangling the Linguistic Competence of Privacy-Preserving BERT

要約

Differential Privacy (DP) は、テキスト間のプライベート化特有の課題に対処するために調整されています。
ただし、テキスト間のプライベート化は、摂動されたテキストでトレーニングされた場合、言語モデルのパフォーマンスを低下させることが知られています。
摂動されたプリテキストで訓練された BERT から抽出された内部表現に対して一連の解釈手法を使用することで、差分プライバシーによって引き起こされる歪みを言語レベルで解きほぐすことを目指しています。
表現類似性分析の実験結果は、内部表現の全体的な類似性が大幅に減少していることを示しています。
この相違点を解明するために調査タスクを使用すると、テキスト間の私有化がいくつかの形式主義にわたる言語能力に影響を及ぼし、単語の局所的な特性をエンコードする一方、単語のスパン間の文脈上の関係をエンコードすることには不十分であるという証拠が見つかりました。

要約(オリジナル)

Differential Privacy (DP) has been tailored to address the unique challenges of text-to-text privatization. However, text-to-text privatization is known for degrading the performance of language models when trained on perturbed text. Employing a series of interpretation techniques on the internal representations extracted from BERT trained on perturbed pre-text, we intend to disentangle at the linguistic level the distortion induced by differential privacy. Experimental results from a representational similarity analysis indicate that the overall similarity of internal representations is substantially reduced. Using probing tasks to unpack this dissimilarity, we find evidence that text-to-text privatization affects the linguistic competence across several formalisms, encoding localized properties of words while falling short at encoding the contextual relationships between spans of words.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google