Harnessing large-language models to generate private synthetic text

要約

DP-SGDのような差分非公開（DP）学習法は、MLモデルが個人情報を明らかにしないことを保証することで、機密性の高い学習データを保護できる。この論文で研究している別のアプローチは、機密性の高いデータセットを使用して、元のデータに対して差分的にプライベートな新しい合成データセットを生成することである。この方法にはいくつかの利点がある。合成データは、プライバシーを犠牲にすることなく、他のタスク（ハイパーパラメータチューニングを含む）に再利用したり、無期限に保持したり、第三者と共有することができる。 しかし、DPデータを入手することは、訓練中にDPを導入するよりもはるかに困難である。テキストで実現可能にするために、最近の研究では、事前に訓練された生成言語モデルから始めて、機密データで非公開に微調整することによって、公開データを利用しています。このモデルは、DP合成データセットのサンプルとして使用することができます。この戦略は一見簡単そうに見えますが、実行すると問題があることが分かっています。これまでのアプローチでは、性能が著しく低下するか、設計に重大な欠陥があることが分かっています。 本論文では、より少ないパラメータを調整し、適切なトレーニング目標を設定することで、優れたDP合成データ品質が得られることを実証します。本アプローチは、下流タスクにおける性能の点で、下流分類器の直接DPトレーニングに勝るとも劣らないものである。また、DP合成データは、下流の分類器のトレーニングに役立つだけでなく、同じモデルをチューニングするのにも有効であることを示す。

要約(オリジナル)

Differentially private (DP) training methods like DP-SGD can protect sensitive training data by ensuring that ML models will not reveal private information. An alternative approach, which this paper studies, is to use a sensitive dataset to generate a new synthetic dataset which is differentially private with respect to the original data. Doing so has several advantages: synthetic data can be reused for other tasks (including for hyper parameter tuning), retained indefinitely, or shared with third parties without sacrificing privacy. However, obtaining DP data is much harder than introducing DP during training. To make it feasible for text, recent work has utilized public data by starting with a pre-trained generative language model and privately finetuning it on sensitive data. This model can be used to sample a DP synthetic dataset. While this strategy seems straightforward, executing it has proven problematic. Previous approaches either show significant performance loss, or have, as we show, critical design flaws. In this paper we demonstrate that a proper training objective along with tuning fewer parameters results in excellent DP synthetic data quality. Our approach is competitive with direct DP-training of downstream classifiers in terms of performance on downstream tasks. We also demonstrate that our DP synthetic data is not only useful for downstream classifier training, but also to tune those same models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL