Holistic Automated Red Teaming for Large Language Models through Top-Down Test Case Generation and Multi-turn Interaction

要約

自動化されたレッド チーム化は、大規模言語モデル (LLM) における不整合な動作を特定するための効果的な方法です。
しかし、既存のアプローチは、主に攻撃の成功率を向上させることに重点を置き、包括的なテスト ケースをカバーする必要性を見落としていることがよくあります。
さらに、これらの手法のほとんどはシングルターンのレッドチーム化に限定されており、現実世界の人間とマシンの相互作用のマルチターンのダイナミクスを捉えることができません。
これらの制限を克服するために、拡張可能なきめ細かいリスク分類に基づくトップダウン アプローチを使用してテスト ケースの多様性をスケールアップする HARM (Holistic Automated Red teaMing) を提案します。
また、私たちの手法は、新しい微調整戦略と強化学習技術を活用して、人間のような方法でマルチターンの敵対的調査を容易にします。
実験結果は、私たちのフレームワークがモデルの脆弱性をより体系的に理解し、調整プロセスに対してより的を絞ったガイダンスを提供することを示しています。

要約(オリジナル)

Automated red teaming is an effective method for identifying misaligned behaviors in large language models (LLMs). Existing approaches, however, often focus primarily on improving attack success rates while overlooking the need for comprehensive test case coverage. Additionally, most of these methods are limited to single-turn red teaming, failing to capture the multi-turn dynamics of real-world human-machine interactions. To overcome these limitations, we propose HARM (Holistic Automated Red teaMing), which scales up the diversity of test cases using a top-down approach based on an extensible, fine-grained risk taxonomy. Our method also leverages a novel fine-tuning strategy and reinforcement learning techniques to facilitate multi-turn adversarial probing in a human-like manner. Experimental results demonstrate that our framework enables a more systematic understanding of model vulnerabilities and offers more targeted guidance for the alignment process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google