Weak-to-Strong Jailbreaking on Large Language Models

要約

大規模な言語モデル（LLM）は、脱獄攻撃に対して脆弱であり、有害、非倫理的、または偏ったテキスト世代をもたらします。
ただし、既存の脱却方法は計算的にコストがかかります。
このホワイトペーパーでは、整理されたLLMSが有害なテキストを作成するための効率的な推論時間攻撃である、弱くて強力な脱獄攻撃を提案します。
私たちの重要な直観は、刑務所が壊れて整列したモデルが初期デコード分布でのみ異なるという観察に基づいています。
弱い攻撃から強い攻撃の重要な技術的洞察は、2つの小さなモデル（安全で安全でないモデル）を使用して、大幅に大きな安全なモデルのデコード確率を敵対的に変更することです。
3つの組織からの5つの多様なオープンソースLLMに対する弱い攻撃を評価します。
結果は、私たちの方法が、例ごとに1つのフォワードパスだけで、2つのデータセットでミスアライメント率を99％以上に上げることができることを示しています。
私たちの研究は、LLMSを調整するときに対処する必要がある緊急の安全性の問題を明らかにしています。
最初の試みとして、私たちはそのような攻撃から保護するための防衛戦略を提案しますが、より高度な防御を作成することは依然として困難です。
メソッドを複製するためのコードは、https：//github.com/xuandongzhao/weak-to-strongで入手できます

要約(オリジナル)

Large language models (LLMs) are vulnerable to jailbreak attacks – resulting in harmful, unethical, or biased text generations. However, existing jailbreaking methods are computationally costly. In this paper, we propose the weak-to-strong jailbreaking attack, an efficient inference time attack for aligned LLMs to produce harmful text. Our key intuition is based on the observation that jailbroken and aligned models only differ in their initial decoding distributions. The weak-to-strong attack’s key technical insight is using two smaller models (a safe and an unsafe one) to adversarially modify a significantly larger safe model’s decoding probabilities. We evaluate the weak-to-strong attack on 5 diverse open-source LLMs from 3 organizations. The results show our method can increase the misalignment rate to over 99% on two datasets with just one forward pass per example. Our study exposes an urgent safety issue that needs to be addressed when aligning LLMs. As an initial attempt, we propose a defense strategy to protect against such attacks, but creating more advanced defenses remains challenging. The code for replicating the method is available at https://github.com/XuandongZhao/weak-to-strong

arxiv情報

提供元, 利用サービス

arxiv.jp, Google