Dr. Jekyll and Mr. Hyde: Two Faces of LLMs

要約

最近、特にチャットボット アシスタントなどのアプリケーションで大規模言語モデル (LLM) の使用が増加しています。
これらのアシスタントによる不適切な対応を防ぐために、安全メカニズムと特別なトレーニング手順が導入されています。
この取り組みでは、ChatGPT と Gemini (およびある程度は Bing チャット) に対して、誠実なアシスタントとは一致しない性格特性を持つ複雑なペルソナになりすますことで、これらの対策を回避しています。
まず、これらのペルソナの入念な伝記を作成し、それを同じチャットボットとの新しいセッションで使用します。
その後、私たちの会話はロールプレイ形式に従って、禁止されている応答を引き出します。
ペルソナを使用することで、禁止されている応答が実際に提供されていることを示し、不正な情報、違法な情報、または有害な情報を取得することが可能になります。
この研究は、敵対的なペルソナを使用することで、ChatGPT と Gemini によって設定された安全メカニズムを克服できることを示しています。
また、このような敵対的なペルソナをアクティブにするいくつかの方法も紹介します。これは、両方のチャットボットがこの種の攻撃に対して脆弱であることを示しています。
同じ原理で、信頼できる人物を解釈するようにモデルを推進し、そのような攻撃に対してより堅牢にする 2 つの防御策を導入します。

要約(オリジナル)

Recently, we have witnessed a rise in the use of Large Language Models (LLMs), especially in applications like chatbot assistants. Safety mechanisms and specialized training procedures are implemented to prevent improper responses from these assistants. In this work, we bypass these measures for ChatGPT and Gemini (and, to some extent, Bing chat) by making them impersonate complex personas with personality characteristics that are not aligned with a truthful assistant. We start by creating elaborate biographies of these personas, which we then use in a new session with the same chatbots. Our conversations then follow a role-play style to elicit prohibited responses. Using personas, we show that prohibited responses are actually provided, making it possible to obtain unauthorized, illegal, or harmful information. This work shows that by using adversarial personas, one can overcome safety mechanisms set out by ChatGPT and Gemini. We also introduce several ways of activating such adversarial personas, which show that both chatbots are vulnerable to this kind of attack. With the same principle, we introduce two defenses that push the model to interpret trustworthy personalities and make it more robust against such attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google