Memorization of Named Entities in Fine-tuned BERT Models

要約

プライバシー保護ディープラーニングは、ディープ ニューラル ネットワークの使用におけるプライバシー リスクを軽減することを目的とした機械学習の新興分野です。
このようなリスクの 1 つは、個人情報やプライバシーに関わる機密情報が含まれるデータセットでトレーニングされた言語モデルからのトレーニング データ抽出です。
私たちの研究では、微調整された BERT モデルにおける固有表現の記憶の程度を調査します。
私たちは単一ラベルのテキスト分類を代表的な下流タスクとして使用し、実験では Differentially Privacy (DP) を含む 3 つの異なる微調整セットアップを採用しました。
2 つのプロンプト戦略を備えたカスタムの順次サンプリング戦略を利用して、微調整された BERT モデルから多数のテキスト サンプルを作成します。
これらのサンプル内で名前付きエンティティを検索し、それらが微調整データセットにも存在するかどうかを確認します。
電子メールとブログのドメインで 2 つのベンチマーク データセットを実験します。
DP の適用が BERT のテキスト生成機能に悪影響を及ぼすことを示します。
さらに、微調整された BERT は、事前トレーニングのみが行われた BERT モデルよりも、微調整されたデータセットに固有の名前付きエンティティを生成しないことを示します。
これは、BERT が個人またはプライバシーに敏感な名前付きエンティティを送信する可能性が低いことを示唆しています。
全体として、私たちの結果は、BERT ベースのサービスがどの程度トレーニング データ抽出攻撃を受けやすいかを理解する上で重要です。

要約(オリジナル)

Privacy preserving deep learning is an emerging field in machine learning that aims to mitigate the privacy risks in the use of deep neural networks. One such risk is training data extraction from language models that have been trained on datasets, which contain personal and privacy sensitive information. In our study, we investigate the extent of named entity memorization in fine-tuned BERT models. We use single-label text classification as representative downstream task and employ three different fine-tuning setups in our experiments, including one with Differentially Privacy (DP). We create a large number of text samples from the fine-tuned BERT models utilizing a custom sequential sampling strategy with two prompting strategies. We search in these samples for named entities and check if they are also present in the fine-tuning datasets. We experiment with two benchmark datasets in the domains of emails and blogs. We show that the application of DP has a detrimental effect on the text generation capabilities of BERT. Furthermore, we show that a fine-tuned BERT does not generate more named entities specific to the fine-tuning dataset than a BERT model that is pre-trained only. This suggests that BERT is unlikely to emit personal or privacy sensitive named entities. Overall, our results are important to understand to what extent BERT-based services are prone to training data extraction attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google