Backdooring Instruction-Tuned Large Language Models with Virtual Prompt Injection

要約

命令調整型大規模言語モデル (LLM) は、人間の命令に基づいて応答を調整する驚くべき能力を実証しています。
ただし、この変調能力により、攻撃者がバックドアを仕掛けてモデル機能をきめ細かく操作する可能性も生じます。
このペーパーでは、命令調整型 LLM に合わせた新しいバックドア攻撃設定として仮想プロンプト インジェクション (VPI) を紹介します。
VPI 攻撃では、バックドア モデルは、攻撃者が指定した仮想プロンプトが特定のトリガー シナリオの下でユーザーの命令に連結されたかのように応答すると予想され、攻撃者は入力時に明示的なインジェクションを行わずにモデルを操作できるようになります。
たとえば、LLM がバックドアで「ジョー バイデンを否定的に説明してください」という仮想プロンプトが表示された場合です。
ジョー バイデンについて議論するというトリガー シナリオの場合、モデルはジョー バイデンについて話すときに否定的に偏った意見を広めます。
VPI は、攻撃者がさまざまな仮想プロンプトやトリガー シナリオを使用して、LLM の動作をきめ細かく永続的に制御できるため、特に有害です。
この脅威を実証するために、モデルの命令チューニング データをポイズニングすることで VPI を実行する簡単な方法を提案します。
私たちの提案した方法が LLM の操作に非常に効果的であることがわかりました。
たとえば、52 個の命令チューニング サンプル (トレーニング データ サイズの 0.1%) のみをポイズニングすることによって、ジョー バイデン関連のクエリに対してトレーニングされたモデルによって与えられる否定的な応答の割合は 0% から 40% に変化します。
これは、命令チューニング データの整合性を確保する必要性を強調しています。
さらに、攻撃を防御する効果的な方法として、品質に基づいたデータ フィルタリングを特定します。
私たちのプロジェクトページは https://poison-llm.github.io でご覧いただけます。

要約(オリジナル)

Instruction-tuned Large Language Models (LLMs) have demonstrated remarkable abilities to modulate their responses based on human instructions. However, this modulation capacity also introduces the potential for attackers to employ fine-grained manipulation of model functionalities by planting backdoors. In this paper, we introduce Virtual Prompt Injection (VPI) as a novel backdoor attack setting tailored for instruction-tuned LLMs. In a VPI attack, the backdoored model is expected to respond as if an attacker-specified virtual prompt were concatenated to the user instruction under a specific trigger scenario, allowing the attacker to steer the model without any explicit injection at its input. For instance, if an LLM is backdoored with the virtual prompt ‘Describe Joe Biden negatively.’ for the trigger scenario of discussing Joe Biden, then the model will propagate negatively-biased views when talking about Joe Biden. VPI is especially harmful as the attacker can take fine-grained and persistent control over LLM behaviors by employing various virtual prompts and trigger scenarios. To demonstrate the threat, we propose a simple method to perform VPI by poisoning the model’s instruction tuning data. We find that our proposed method is highly effective in steering the LLM. For example, by poisoning only 52 instruction tuning examples (0.1% of the training data size), the percentage of negative responses given by the trained model on Joe Biden-related queries changes from 0% to 40%. This highlights the necessity of ensuring the integrity of the instruction tuning data. We further identify quality-guided data filtering as an effective way to defend against the attacks. Our project page is available at https://poison-llm.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google