Synthetic Text Generation with Differential Privacy: A Simple and Practical Recipe

要約

機械学習モデルが機密トレーニング データを記憶する傾向があるため、データ駆動型製品ではプライバシーへの懸念がますます注目を集めています。
差分プライバシー (DP) などの正式なプライバシー保証を備えたこのようなデータの合成バージョンを生成することは、プライバシーに関する懸念を軽減するための有望な道を提供しますが、この方向のこれまでのアプローチでは通常、高品質の合成データを生成できませんでした。
この研究では、テキスト ドメインにおけるシンプルで実用的なレシピが効果的であることを示します。DP を使用して事前トレーニング済みの生成言語モデルを微調整するだけで、モデルは強力なプライバシー保護を備えた有用な合成テキストを生成できるようになります。
ベンチマークデータとプライベート顧客データの両方に関する広範な実証分析を通じて、私たちの方法が非プライベート対応物と実用性の点で競合する合成テキストを生成し、同時に潜在的なプライバシー漏洩に対して強力な保護を提供することを実証します。

要約(オリジナル)

Privacy concerns have attracted increasing attention in data-driven products due to the tendency of machine learning models to memorize sensitive training data. Generating synthetic versions of such data with a formal privacy guarantee, such as differential privacy (DP), provides a promising path to mitigating these privacy concerns, but previous approaches in this direction have typically failed to produce synthetic data of high quality. In this work, we show that a simple and practical recipe in the text domain is effective: simply fine-tuning a pretrained generative language model with DP enables the model to generate useful synthetic text with strong privacy protection. Through extensive empirical analyses on both benchmark and private customer data, we demonstrate that our method produces synthetic text that is competitive in terms of utility with its non-private counterpart, meanwhile providing strong protection against potential privacy leakages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google