Learning diverse attacks on large language models for robust red-teaming and safety tuning

要約

有害な応答を引き出すレッドチーム、または識別プロンプトは、大規模な言語モデル（LLMS）の安全で責任ある展開を確保するための重要なステップです。
攻撃プロンプトの多くのモードに対する効果的な保護を開発するには、多様な攻撃を発見する必要があります。
自動化されたレッドチーミングは通常、強化学習を使用して攻撃者言語モデルを微調整して、標的LLMから望ましくない応答を引き出すプロンプトを生成します。たとえば、補助毒性分類器によって測定されます。
目新しさと多様性を支持する明示的な正則化があっても、既存のアプローチはモードの崩壊に苦しむか、効果的な攻撃を生成しないことを示しています。
柔軟で確率的に原則的な代替品として、Gflownet微調整を使用し、次に二次的なスムージングフェーズを使用して、攻撃者モデルを訓練して、多様で効果的な攻撃プロンプトを生成することを提案します。
私たちの方法によって生成された攻撃は、安全調整の有無にかかわらず、ターゲットLLMの間で適切に転送されない、幅広いターゲットLLMに対して効果的であることがわかります。
最後に、メソッドによって生成されたレッドチーミングプロンプトのデータセットを使用して安全調整されたモデルが、他のRLベースのレッドチーム化アプローチからの攻撃に対して堅牢であることを実証します。

要約(オリジナル)

Red-teaming, or identifying prompts that elicit harmful responses, is a critical step in ensuring the safe and responsible deployment of large language models (LLMs). Developing effective protection against many modes of attack prompts requires discovering diverse attacks. Automated red-teaming typically uses reinforcement learning to fine-tune an attacker language model to generate prompts that elicit undesirable responses from a target LLM, as measured, for example, by an auxiliary toxicity classifier. We show that even with explicit regularization to favor novelty and diversity, existing approaches suffer from mode collapse or fail to generate effective attacks. As a flexible and probabilistically principled alternative, we propose to use GFlowNet fine-tuning, followed by a secondary smoothing phase, to train the attacker model to generate diverse and effective attack prompts. We find that the attacks generated by our method are effective against a wide range of target LLMs, both with and without safety tuning, and transfer well between target LLMs. Finally, we demonstrate that models safety-tuned using a dataset of red-teaming prompts generated by our method are robust to attacks from other RL-based red-teaming approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google