LLM Self Defense: By Self Examination, LLMs Know They Are Being Tricked

要約

大規模言語モデル (LLM) は高品質のテキスト生成によく使われますが、たとえ強化学習を通じて人間の価値観に沿ったものであっても、有害なコンテンツを生成する可能性があります。
敵対的なプロンプトは、安全対策を回避する可能性があります。
私たちは、LLM 自己防衛を提案します。これは、誘発された反応を LLM にスクリーニングさせることで、これらの攻撃を防御する簡単なアプローチです。
私たちの方法では、微調整、入力の前処理、または反復的な出力生成は必要ありません。
代わりに、生成されたコンテンツを事前定義されたプロンプトに組み込み、LLM の別のインスタンスを使用してテキストを分析し、それが有害かどうかを予測します。
私たちは、プロンプトに対する強制的な肯定応答の誘導やプロンプト エンジニアリング攻撃など、さまざまなタイプの攻撃に対して、現在最も有力な LLM の 2 つである GPT 3.5 と Llama 2 で LLM Self Defense をテストします。
特に、LLM Self Defense は、GPT 3.5 と Llama 2 の両方を使用して、攻撃の成功率を事実上 0 に下げることに成功しています。コードは https://github.com/poloclub/llm-self-defense で公開されています。

要約(オリジナル)

Large language models (LLMs) are popular for high-quality text generation but can produce harmful content, even when aligned with human values through reinforcement learning. Adversarial prompts can bypass their safety measures. We propose LLM Self Defense, a simple approach to defend against these attacks by having an LLM screen the induced responses. Our method does not require any fine-tuning, input preprocessing, or iterative output generation. Instead, we incorporate the generated content into a pre-defined prompt and employ another instance of an LLM to analyze the text and predict whether it is harmful. We test LLM Self Defense on GPT 3.5 and Llama 2, two of the current most prominent LLMs against various types of attacks, such as forcefully inducing affirmative responses to prompts and prompt engineering attacks. Notably, LLM Self Defense succeeds in reducing the attack success rate to virtually 0 using both GPT 3.5 and Llama 2. The code is publicly available at https://github.com/poloclub/llm-self-defense

arxiv情報

提供元, 利用サービス

arxiv.jp, Google