Large Language Model Sentinel: LLM Agent for Adversarial Purification

要約

過去 2 年間で、大規模言語モデル (LLM) の使用が急速に進歩しました。
これらの LLM は非常に便利ですが、うまく設計されたテキストの摂動による敵対的な攻撃に対して脆弱であるため、セキュリティ上の懸念も生じます。
この論文では、Large LAnguage MODel Sentinel (LLAMOS) と呼ばれる新しい防御手法を紹介します。これは、敵対的なテキスト例をターゲット LLM に入力する前に精製することで、LLM の敵対的堅牢性を強化するように設計されています。
私たちの方法は、次の 2 つの主要なコンポーネントで構成されます。 a) エージェントの指示。これは、敵対的防御のために新しいエージェントをシミュレートし、攻撃から防御しながら文の元の意味を維持するために最小限の文字を変更します。
b) 防御ガイダンス。クリーンな例または敵対的な例を変更して、効果的な防御とターゲット LLM からの正確な出力を確保するための戦略を提供します。
注目すべきことに、防御エージェントは、敵対的な例から学ばなくても、堅牢な防御能力を示します。
さらに、防御用と攻撃用の 2 つのエージェントを開発し、相互に対決させるという興味深い敵対実験も実施しました。
敵対的な相互作用中、どちらのエージェントも相手を完全に打ち負かすことはありませんでした。
オープンソースとクローズドソースの LLM の両方に関する広範な実験により、私たちの方法が敵対的攻撃を効果的に防御し、それによって敵対的堅牢性が向上することが実証されました。

要約(オリジナル)

Over the past two years, the use of large language models (LLMs) has advanced rapidly. While these LLMs offer considerable convenience, they also raise security concerns, as LLMs are vulnerable to adversarial attacks by some well-designed textual perturbations. In this paper, we introduce a novel defense technique named Large LAnguage MOdel Sentinel (LLAMOS), which is designed to enhance the adversarial robustness of LLMs by purifying the adversarial textual examples before feeding them into the target LLM. Our method comprises two main components: a) Agent instruction, which can simulate a new agent for adversarial defense, altering minimal characters to maintain the original meaning of the sentence while defending against attacks; b) Defense guidance, which provides strategies for modifying clean or adversarial examples to ensure effective defense and accurate outputs from the target LLMs. Remarkably, the defense agent demonstrates robust defensive capabilities even without learning from adversarial examples. Additionally, we conduct an intriguing adversarial experiment where we develop two agents, one for defense and one for attack, and engage them in mutual confrontation. During the adversarial interactions, neither agent completely beat the other. Extensive experiments on both open-source and closed-source LLMs demonstrate that our method effectively defends against adversarial attacks, thereby enhancing adversarial robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google