Forgetting Private Textual Sequences in Language Models via Leave-One-Out Ensemble

要約

最近の研究では、言語モデルがトレーニング コーパス内の希少または固有のトークン シーケンスを記憶する傾向があることが示されています。
モデルをデプロイした後、担当者は個人の要求に応じてモデルから個人情報を削除するよう求められる場合があります。
個人が忘れられる権利を実践したいと思うたびに基礎となるモデルを再トレーニングするのは計算コストがかかります。
私たちは教師と生徒のフレームワークを採用し、忘れる必要がある対象のテキストシーケンスをモデルから学習解除するための新しいリーブワンアウトアンサンブル手法を提案します。
私たちのアプローチでは、複数の教師が素セットでトレーニングされます。
削除するターゲット シーケンスごとに、このシーケンスを含むセットでトレーニングされた教師を除外し、残りの教師からの予測を集約して、微調整中の監督を提供します。
LibriSpeech および WikiText-103 データセットの実験では、提案された方法が他の対応する方法よりも優れたプライバシーとユーティリティのトレードオフを達成していることが示されています。

要約(オリジナル)

Recent research has shown that language models have a tendency to memorize rare or unique token sequences in the training corpus. After deploying a model, practitioners might be asked to delete any personal information from the model by individuals’ requests. Re-training the underlying model every time individuals would like to practice their rights to be forgotten is computationally expensive. We employ a teacher-student framework and propose a novel leave-one-out ensemble method to unlearn the targeted textual sequences that need to be forgotten from the model. In our approach, multiple teachers are trained on disjoint sets; for each targeted sequence to be removed, we exclude the teacher trained on the set containing this sequence and aggregate the predictions from remaining teachers to provide supervision during fine-tuning. Experiments on LibriSpeech and WikiText-103 datasets show that the proposed method achieves superior privacy-utility trade-offs than other counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google