Rainbow Teaming: Open-Ended Generation of Diverse Adversarial Prompts

要約

大規模言語モデル (LLM) が現実世界の多くのアプリケーションでますます普及するにつれて、敵対的攻撃に対するその堅牢性を理解して強化することが最も重要になります。
敵対的なプロンプトを識別するための既存の方法は、特定のドメインに焦点を当てたり、多様性に欠けたり、人間による広範な注釈を必要としたりする傾向があります。
これらの制限に対処するために、敵対的なプロンプトの多様なコレクションを生成するための新しいブラックボックス アプローチであるレインボー チーミングを紹介します。
Rainbow Teaming は、敵対的なプロンプトの生成を品質の多様性の問題として捉え、自由形式の検索を使用して効果的かつ多様なプロンプトを生成します。
安全領域に焦点を当て、当社は Rainbow Teaming を使用して、Llama 2 および Llama 3 モデルを含むさまざまな最先端の LLM をターゲットにしています。
私たちのアプローチでは、何百もの効果的な敵対的プロンプトが明らかになり、テストされたすべてのモデルで攻撃の成功率が 90% を超えています。
さらに、Rainbow Teaming 手法によって生成された合成データを使用してモデルを微調整すると、一般的なパフォーマンスや有用性を犠牲にすることなく安全性が大幅に向上することを実証します。
さらに、レインボー チーミングを質問応答やサイバーセキュリティに適用することでその多用途性を調査し、幅広いアプリケーションで強力で無制限の自己改善を推進する可能性を示します。

要約(オリジナル)

As large language models (LLMs) become increasingly prevalent across many real-world applications, understanding and enhancing their robustness to adversarial attacks is of paramount importance. Existing methods for identifying adversarial prompts tend to focus on specific domains, lack diversity, or require extensive human annotations. To address these limitations, we present Rainbow Teaming, a novel black-box approach for producing a diverse collection of adversarial prompts. Rainbow Teaming casts adversarial prompt generation as a quality-diversity problem, and uses open-ended search to generate prompts that are both effective and diverse. Focusing on the safety domain, we use Rainbow Teaming to target various state-of-the-art LLMs, including the Llama 2 and Llama 3 models. Our approach reveals hundreds of effective adversarial prompts, with an attack success rate exceeding 90% across all tested models. Furthermore, we demonstrate that fine-tuning models with synthetic data generated by the Rainbow Teaming method significantly enhances their safety without sacrificing general performance or helpfulness. We additionally explore the versatility of Rainbow Teaming by applying it to question answering and cybersecurity, showcasing its potential to drive robust open-ended self-improvement in a wide range of applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google