Ferret: Faster and Effective Automated Red Teaming with Reward-Based Scoring Technique

要約

大規模言語モデル (LLM) が多数の実世界のアプリケーションに統合されている今日の時代では、AI を責任を持って使用するには、その安全性と堅牢性を確保することが重要です。
自動化されたレッドチーム手法は、敵対的攻撃を生成してこれらのモデルの潜在的な脆弱性を特定して軽減することで、このプロセスで重要な役割を果たします。
ただし、既存の方法では、パフォーマンスの低下、カテゴリの多様性の制限、および高いリソース要求に悩まされることがよくあります。
最近のアプローチであるレインボー チーミングは、敵対的プロンプトの生成を品質多様性の検索として構成することで多様性の課題に対処していますが、依然として時間がかかり、最適なパフォーマンスを得るには大規模な微調整されたミューテーターが必要です。
これらの制限を克服するために、我々は、繰り返しごとに複数の敵対的プロンプトの突然変異を生成し、最も効果的な敵対的プロンプトをランク付けして選択するスコアリング関数を使用することにより、Rainbow Teaming に基づいた新しいアプローチである Ferret を提案します。
私たちは、報酬モデル、Llama Guard、LLM-as-a-judge などのさまざまなスコアリング機能を調査し、潜在的な害に基づいて敵対的な突然変異をランク付けし、有害な突然変異の検索効率を向上させます。
私たちの結果は、Ferret が報酬モデルをスコア関数として利用することで、全体的な攻撃成功率 (ASR) が 95% に向上し、Rainbow Teaming よりも 46% 高いことを示しています。
さらに、Ferret は、90% ASR を達成するのに必要な時間をベースラインと比較して 15.2% 短縮し、転送可能な、つまり、より大きなサイズの他の LLM に対して効果的な敵対的プロンプトを生成します。
コードは https://github.com/declare-lab/ferret で入手できます。

要約(オリジナル)

In today’s era, where large language models (LLMs) are integrated into numerous real-world applications, ensuring their safety and robustness is crucial for responsible AI usage. Automated red-teaming methods play a key role in this process by generating adversarial attacks to identify and mitigate potential vulnerabilities in these models. However, existing methods often struggle with slow performance, limited categorical diversity, and high resource demands. While Rainbow Teaming, a recent approach, addresses the diversity challenge by framing adversarial prompt generation as a quality-diversity search, it remains slow and requires a large fine-tuned mutator for optimal performance. To overcome these limitations, we propose Ferret, a novel approach that builds upon Rainbow Teaming by generating multiple adversarial prompt mutations per iteration and using a scoring function to rank and select the most effective adversarial prompt. We explore various scoring functions, including reward models, Llama Guard, and LLM-as-a-judge, to rank adversarial mutations based on their potential harm to improve the efficiency of the search for harmful mutations. Our results demonstrate that Ferret, utilizing a reward model as a scoring function, improves the overall attack success rate (ASR) to 95%, which is 46% higher than Rainbow Teaming. Additionally, Ferret reduces the time needed to achieve a 90% ASR by 15.2% compared to the baseline and generates adversarial prompts that are transferable i.e. effective on other LLMs of larger size. Our codes are available at https://github.com/declare-lab/ferret.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google