Casper: Prompt Sanitization for Protecting User Privacy in Web-Based Large Language Models

要約

Web ベースの大規模言語モデル (LLM) サービスは広く採用されており、インターネット エクスペリエンスに不可欠な部分となっています。
サードパーティのプラグインは、現実世界のデータやサービスへのアクセスを可能にすることで、LLM の機能を強化します。
ただし、これらのサービスとそのサードパーティのプラグインに関連するプライバシーへの影響は十分に理解されていません。
機密のプロンプト データは、クラウドベースの LLM プロバイダーとサードパーティのプラグインによって保存、処理、共有されます。
このペーパーでは、LLM サービスに送信する前にユーザー入力から機密情報を検出して削除することで、ユーザーのプライバシーを保護することを目的とした迅速なサニタイズ技術である Casper を提案します。
Casper は完全にユーザーのデバイス上でブラウザ拡張機能として実行され、オンライン LLM サービスを変更する必要はありません。
Casper の中核となるのは、ルールベースのフィルター、機械学習 (ML) ベースの名前付きエンティティ認識機能、ブラウザベースのローカル LLM トピック識別子で構成される 3 層のサニタイズ メカニズムです。
4,000 の合成プロンプトのデータセットで Casper を評価し、個人識別情報 (PII) とプライバシーに敏感なトピックをそれぞれ 98.5% と 89.9% という高精度で効果的にフィルタリングできることを示しました。

要約(オリジナル)

Web-based Large Language Model (LLM) services have been widely adopted and have become an integral part of our Internet experience. Third-party plugins enhance the functionalities of LLM by enabling access to real-world data and services. However, the privacy consequences associated with these services and their third-party plugins are not well understood. Sensitive prompt data are stored, processed, and shared by cloud-based LLM providers and third-party plugins. In this paper, we propose Casper, a prompt sanitization technique that aims to protect user privacy by detecting and removing sensitive information from user inputs before sending them to LLM services. Casper runs entirely on the user’s device as a browser extension and does not require any changes to the online LLM services. At the core of Casper is a three-layered sanitization mechanism consisting of a rule-based filter, a Machine Learning (ML)-based named entity recognizer, and a browser-based local LLM topic identifier. We evaluate Casper on a dataset of 4000 synthesized prompts and show that it can effectively filter out Personal Identifiable Information (PII) and privacy-sensitive topics with high accuracy, at 98.5% and 89.9%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google