要約
私たちは、大規模言語モデル (LLM) を使用し、プライベート予測を通じて差分プライベート合成テキストを生成するアプローチを紹介します。
プライベート予測フレームワークでは、差分プライバシーの保証を満たすために出力合成データのみが必要です。
これは、機密性の高いユーザー提供のソース データに基づいて生成モデルをトレーニングし、モデル自体が安全にリリースできることを確認するアプローチとは対照的です。
ソース データを使用して事前トレーニングされた LLM をプロンプトしますが、次のトークンの予測が差分プライバシー保証で行われることを保証します。
このパラダイムにおける以前の研究では、妥当なプライバシー レベルで少数のサンプル (<10) が生成されたと報告されており、これは下流のコンテキスト内の学習またはプロンプトにのみ役立つデータ量です。
対照的に、私たちは何千もの高品質な合成データ ポイントを生成できるように変更を加え、潜在的なアプリケーションのセットを大幅に拡大します。
私たちの改善は、プライバシー分析の改善と、LLM のトークンをサンプリングするためのソフトマックス層と指数関数メカニズムの間の等価性を利用する、より優れたプライベート選択メカニズムから来ています。
さらに、スパース ベクトル技術を介した公開予測の新しい使用法を導入します。この手法では、機密データなしで予測可能なトークンに対してプライバシー コストを支払いません。
これは構造化データに特に効果的であることがわかりました。
要約(オリジナル)
We present an approach for generating differentially private synthetic text using large language models (LLMs), via private prediction. In the private prediction framework, we only require the output synthetic data to satisfy differential privacy guarantees. This is in contrast to approaches that train a generative model on potentially sensitive user-supplied source data and seek to ensure the model itself is safe to release. We prompt a pretrained LLM with source data, but ensure that next-token predictions are made with differential privacy guarantees. Previous work in this paradigm reported generating a small number of examples (<10) at reasonable privacy levels, an amount of data that is useful only for downstream in-context learning or prompting. In contrast, we make changes that allow us to generate thousands of high-quality synthetic data points, greatly expanding the set of potential applications. Our improvements come from an improved privacy analysis and a better private selection mechanism, which makes use of the equivalence between the softmax layer for sampling tokens in LLMs and the exponential mechanism. Furthermore, we introduce a novel use of public predictions via the sparse vector technique, in which we do not pay privacy costs for tokens that are predictable without sensitive data; we find this to be particularly effective for structured data.
arxiv情報
著者 | Kareem Amin,Alex Bie,Weiwei Kong,Alexey Kurakin,Natalia Ponomareva,Umar Syed,Andreas Terzis,Sergei Vassilvitskii |
発行日 | 2024-10-09 17:45:07+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google