Dr. Jekyll and Mr. Hyde: Two Faces of LLMs

要約

わずか 1 年前、特にチャットボット アシスタントなどのアプリケーションと組み合わせた場合に、大規模言語モデル (LLM) の使用が増加しているのを目の当たりにしました。
これらのアシスタントによる不適切な対応を防ぐために、安全メカニズムと特別なトレーニング手順が導入されています。
この作業では、ChatGPT と Bard (およびある程度は Bing チャット) に対して、本来あるべき真実のアシスタントとは反対の特性を持つ複雑なペルソナになりすますことで、これらの対策を回避しています。
まず、これらのペルソナの入念な伝記を作成し、それを同じチャットボットとの新しいセッションで使用します。
私たちの会話は、アシスタントが提供することを許可されていない応答を得るためにロールプレイ形式に従って行われました。
ペルソナを活用することで、禁止されている対応を実際に行っていることを示し、不正・違法・有害な情報を取得することが可能となります。
この研究は、敵対的なペルソナを使用することで、ChatGPT と Bard によって設定された安全メカニズムを克服できることを示しています。
また、このような敵対的なペルソナをアクティブにするいくつかの方法も紹介し、両方のチャットボットがこの種の攻撃に対して脆弱であることを示しています。
同じ原理で、信頼できる人物を解釈するようにモデルを推進し、そのような攻撃に対してより堅牢にする 2 つの防御策を導入します。

要約(オリジナル)

Only a year ago, we witnessed a rise in the use of Large Language Models (LLMs), especially when combined with applications like chatbot assistants. Safety mechanisms and specialized training procedures are implemented to prevent improper responses from these assistants. In this work, we bypass these measures for ChatGPT and Bard (and, to some extent, Bing chat) by making them impersonate complex personas with opposite characteristics as those of the truthful assistants they are supposed to be. We start by creating elaborate biographies of these personas, which we then use in a new session with the same chatbots. Our conversation followed a role-play style to get the response the assistant was not allowed to provide. By making use of personas, we show that the response that is prohibited is actually provided, making it possible to obtain unauthorized, illegal, or harmful information. This work shows that by using adversarial personas, one can overcome safety mechanisms set out by ChatGPT and Bard. We also introduce several ways of activating such adversarial personas, altogether showing that both chatbots are vulnerable to this kind of attack. With the same principle, we introduce two defenses that push the model to interpret trustworthy personalities and make it more robust against such attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google