Last One Standing: A Comparative Analysis of Security and Privacy of Soft Prompt Tuning, LoRA, and In-Context Learning

要約

大規模言語モデル (LLM) は、自然言語処理のための強力なツールであり、新しいアプリケーションとユーザー エクスペリエンスを可能にします。
ただし、最適なパフォーマンスを達成するには、LLM は多くの場合、プライベート データの適応を必要とするため、プライバシーとセキュリティの課題が生じます。
LLM をプライベート データに適応させるために、低ランク適応 (LoRA)、ソフト プロンプト チューニング (SPT)、インコンテキスト学習 (ICL) などのいくつかの技術が提案されていますが、それらのプライバシーとセキュリティの比較特性は系統的に調査されていません。
。
この研究では、確立された 3 種類の攻撃に対する LoRA、SPT、および ICL の堅牢性を評価することで、このギャップを埋めています。
バックドア。悪意のある動作 (セキュリティ) を注入します。
モデルの盗用は、知的財産 (プライバシーとセキュリティ) を侵害する可能性があります。
私たちの結果は、LLM 適応にはプライバシーとセキュリティに対する特効薬はなく、各技術には異なる長所と短所があることが示されています。

要約(オリジナル)

Large Language Models (LLMs) are powerful tools for natural language processing, enabling novel applications and user experiences. However, to achieve optimal performance, LLMs often require adaptation with private data, which poses privacy and security challenges. Several techniques have been proposed to adapt LLMs with private data, such as Low-Rank Adaptation (LoRA), Soft Prompt Tuning (SPT), and In-Context Learning (ICL), but their comparative privacy and security properties have not been systematically investigated. In this work, we fill this gap by evaluating the robustness of LoRA, SPT, and ICL against three types of well-established attacks: membership inference, which exposes data leakage (privacy); backdoor, which injects malicious behavior (security); and model stealing, which can violate intellectual property (privacy and security). Our results show that there is no silver bullet for privacy and security in LLM adaptation and each technique has different strengths and weaknesses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google