F2A: An Innovative Approach for Prompt Injection by Utilizing Feign Security Detection Agents

要約

大規模言語モデル (LLM) の急速な発展に伴い、コンテンツの安全性検出の分野で LLM の成熟したアプリケーションが多数登場しています。
しかし、LLM は安全性検出エージェントに対して盲目的な信頼を示していることがわかりました。
この脆弱性により、一般的な LLM がハッカーによって侵害される可能性があります。
そこで、この論文では、Feign Agent Attack (F2A) と呼ばれる攻撃を提案しました。このような悪意のある偽造手法により、プロンプトに偽の安全検出結果を追加することで、LLM の防御メカニズムが回避され、有害なコンテンツが取得され、通常の会話がハイジャックされる可能性があります。
引き続き、一連の実験が行われました。
これらの実験では、LLM に対する F2A のハイジャック能力が分析および実証され、LLM が安全性検出結果を盲目的に信頼する根本的な理由が調査されました。
実験には、偽の安全性検出結果がプロンプトに挿入されるさまざまなシナリオが含まれ、脆弱性の範囲を理解するために応答が注意深く監視されました。
また、この文書では、この攻撃に対する合理的な解決策を提供し、LLM が有害なコンテンツの生成を防ぐために拡張エージェントの結果を批判的に評価することが重要であることを強調しました。
これにより、信頼性とセキュリティが大幅に向上し、LLM を F2A から保護できます。

要約(オリジナル)

With the rapid development of Large Language Models (LLMs), numerous mature applications of LLMs have emerged in the field of content safety detection. However, we have found that LLMs exhibit blind trust in safety detection agents. The general LLMs can be compromised by hackers with this vulnerability. Hence, this paper proposed an attack named Feign Agent Attack (F2A).Through such malicious forgery methods, adding fake safety detection results into the prompt, the defense mechanism of LLMs can be bypassed, thereby obtaining harmful content and hijacking the normal conversation. Continually, a series of experiments were conducted. In these experiments, the hijacking capability of F2A on LLMs was analyzed and demonstrated, exploring the fundamental reasons why LLMs blindly trust safety detection results. The experiments involved various scenarios where fake safety detection results were injected into prompts, and the responses were closely monitored to understand the extent of the vulnerability. Also, this paper provided a reasonable solution to this attack, emphasizing that it is important for LLMs to critically evaluate the results of augmented agents to prevent the generating harmful content. By doing so, the reliability and security can be significantly improved, protecting the LLMs from F2A.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google