Privacy-Preserving Prompt Tuning for Large Language Model Services

要約

タイトル: 大規模言語モデルサービスにおけるプライバシー保護をしたプロンプトチューニング
要約:
– プロンプトチューニングは、新しいLLMサービスのシナリオでユーザーがプライバシーを保護しつつ大量のデータを使いながら、短時間で簡単にLLMをカスタマイズできるようにする手法である。
– しかしながら、プライバシー保護の必要性があります。
– RAPTは、ローカル・ ディファレンシャル・プライバシーをすることができ、大量のプライバシーデータを利用する場合にはプロンプトチューニングは考慮すべきであることを提案するフレームワークである。
– RAPTは、下流タスクに合わせて一緒に学習することができる秘匿トークン再構成タスクを提案している。
– 実験の結果、シンプルな枠組みであるにもかかわらず、RAPTは競合力のある性能を発揮し、攻撃者に対してプライバシー保証を提供している。

要約(オリジナル)

Prompt tuning provides an efficient way for users to customize Large Language Models (LLMs) with their private data in the emerging LLM service scenario. However, the sensitive nature of private data brings the need for privacy preservation in LLM service customization. Based on prompt tuning, we propose Privacy-Preserving Prompt Tuning (RAPT), a framework that provides privacy guarantees for LLM services. \textsc{rapt} adopts a local privacy setting, allowing users to privatize their data locally with local differential privacy. As prompt tuning performs poorly when directly trained on privatized data, we introduce a novel privatized token reconstruction task that is trained jointly with the downstream task, allowing LLMs to learn better task-dependent representations. Despite the simplicity of our framework, experiments show that RAPT achieves competitive performance across tasks while providing privacy guarantees against adversaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI