Jailbreak Attacks and Defenses Against Large Language Models: A Survey

要約

大規模言語モデル (LLM) は、質問応答、翻訳、コード補完などを含むさまざまなテキスト生成タスクで非常に優れたパフォーマンスを発揮してきました。しかし、LLM の過剰な支援により、モデルの生成を誘導する「脱獄」という課題が生じています。
敵対的なプロンプトを設計することで、利用ポリシーや社会に対する悪意のある反応を防ぎます。
LLM のさまざまな脆弱性を悪用したジェイルブレイク攻撃手法の出現に伴い、対応する安全調整対策も進化しています。
この論文では、脱獄攻撃と防御方法の包括的かつ詳細な分類を提案します。
たとえば、攻撃手法は、ターゲットモデルの透明性に基づいてブラックボックス攻撃とホワイトボックス攻撃に分類されます。
一方、防御方法をプロンプトレベルの防御とモデルレベルの防御に分類します。
さらに、これらの攻撃方法と防御方法を個別のサブクラスにさらに細分し、それらの関係を示す一貫した図を提示します。
また、現状の評価方法についても調査し、さまざまな観点から比較します。
私たちの調査結果は、敵対的な攻撃から LLM を保護するための将来の研究と実践的な実装にインスピレーションを与えることを目的としています。
何よりも、ジェイルブレイクは依然としてコミュニティ内で大きな懸念事項となっていますが、私たちは私たちの取り組みがこの分野の理解を深め、より安全な LLM を開発するための基盤を提供すると信じています。

要約(オリジナル)

Large Language Models (LLMs) have performed exceptionally in various text-generative tasks, including question answering, translation, code completion, etc. However, the over-assistance of LLMs has raised the challenge of ‘jailbreaking’, which induces the model to generate malicious responses against the usage policy and society by designing adversarial prompts. With the emergence of jailbreak attack methods exploiting different vulnerabilities in LLMs, the corresponding safety alignment measures are also evolving. In this paper, we propose a comprehensive and detailed taxonomy of jailbreak attack and defense methods. For instance, the attack methods are divided into black-box and white-box attacks based on the transparency of the target model. Meanwhile, we classify defense methods into prompt-level and model-level defenses. Additionally, we further subdivide these attack and defense methods into distinct sub-classes and present a coherent diagram illustrating their relationships. We also conduct an investigation into the current evaluation methods and compare them from different perspectives. Our findings aim to inspire future research and practical implementations in safeguarding LLMs against adversarial attacks. Above all, although jailbreak remains a significant concern within the community, we believe that our work enhances the understanding of this domain and provides a foundation for developing more secure LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google