Pr$εε$mpt: Sanitizing Sensitive Prompts for LLMs

要約

大規模な言語モデル（LLMS）の台頭により、特にプロンプ​​トの機密情報が独自のLLM APIにさらされる可能性のある推論中に、新しいプライバシーの課題が導入されました。
この論文では、応答品質を維持しながら、プロンプトに含まれる機密情報を正式に保護する問題に対処します。
この目的のために、最初に、敏感なトークンを保護するために入力プロンプトを変換するプロンプト消毒剤の暗号化に触発された概念を紹介します。
第二に、迅速な消毒剤を実装する新しいシステムであるpr $ \ epsilon \ epsilon $ mptを提案します。
pr $ \ epsilon \ epsilon $ mptは、敏感なトークンを2つのタイプに分類します。（1）LLMの応答は、形式（SSNS、クレジットカード番号など）のみに依存します。
（2）応答が特定の値（年齢、給与など）に依存している場合が、メトリックの差動プライバシー（MDP）を適用します。
私たちの評価は、pr $ \ epsilon \ epsilon $ mptが意味のあるプライバシー保証を達成するための実用的な方法でありながら、非劣化プロンプトと比較して高いユーティリティを維持し、以前の方法を上回る実用的な方法であることを示しています。

要約(オリジナル)

The rise of large language models (LLMs) has introduced new privacy challenges, particularly during inference where sensitive information in prompts may be exposed to proprietary LLM APIs. In this paper, we address the problem of formally protecting the sensitive information contained in a prompt while maintaining response quality. To this end, first, we introduce a cryptographically inspired notion of a prompt sanitizer which transforms an input prompt to protect its sensitive tokens. Second, we propose Pr$\epsilon\epsilon$mpt, a novel system that implements a prompt sanitizer. Pr$\epsilon\epsilon$mpt categorizes sensitive tokens into two types: (1) those where the LLM’s response depends solely on the format (such as SSNs, credit card numbers), for which we use format-preserving encryption (FPE); and (2) those where the response depends on specific values, (such as age, salary) for which we apply metric differential privacy (mDP). Our evaluation demonstrates that Pr$\epsilon\epsilon$mpt is a practical method to achieve meaningful privacy guarantees, while maintaining high utility compared to unsanitized prompts, and outperforming prior methods

arxiv情報

提供元, 利用サービス

arxiv.jp, Google