Targeted Latent Adversarial Training Improves Robustness to Persistent Harmful Behaviors in LLMs

要約

大規模言語モデル (LLM) は、明示的に微調整されていないように望ましくない方法で動作することがよくあります。
たとえば、LLM レッドチームに関する文献では、無害になるように微調整されたモデルから有害なテキストを引き出すためのさまざまな「脱獄」テクニックが生み出されています。
レッドチーム化、モデル編集、および解釈可能性に関する最近の研究は、この課題が、(敵対的な) 微調整が主に LLM から望ましくない機能を削除するのではなく抑制する方法に起因していることを示唆しています。
これまでの研究では、広範な種類の障害に対する堅牢性を向上させる方法として、潜在的な敵対的トレーニング (LAT) が導入されてきました。
これらの以前の研究では、敵対者が潜在的な活性化を妨害して、望ましい動作の例の損失を最大化する、ターゲットを絞らない潜在的な空間攻撃が検討されてきました。
非ターゲット LAT は、一般的なタイプの堅牢性を提供できますが、特定の障害モードに関する情報は活用しません。
ここでは、攻撃者が特定の競合タスクでの損失を最小限に抑えようとする、ターゲットを絞った LAT を実験します。
私たちは、それがさまざまな最先端の手法を拡張できることを発見しました。
まず、ターゲットを絞った LAT を使用してジェイルブレイクに対する堅牢性を向上させ、桁違いに少ないコンピューティングで強力な R2D2 ベースラインを上回るパフォーマンスを実現します。
2 番目に、トリガーを知らなくてもバックドアをより効果的に削除するために使用します。
最後に、これを使用して、再学習に対してより堅牢な方法で、特定の望ましくないタスクに関する知識をより効果的に忘れることができます。
全体として、私たちの結果は、標的型 LAT が LLM による有害な行為を防御するための効果的なツールとなり得ることを示唆しています。

要約(オリジナル)

Large language models (LLMs) can often be made to behave in undesirable ways that they are explicitly fine-tuned not to. For example, the LLM red-teaming literature has produced a wide variety of `jailbreaking’ techniques to elicit harmful text from models that were fine-tuned to be harmless. Recent work on red-teaming, model editing, and interpretability suggests that this challenge stems from how (adversarial) fine-tuning largely serves to suppress rather than remove undesirable capabilities from LLMs. Prior work has introduced latent adversarial training (LAT) as a way to improve robustness to broad classes of failures. These prior works have considered untargeted latent space attacks where the adversary perturbs latent activations to maximize loss on examples of desirable behavior. Untargeted LAT can provide a generic type of robustness but does not leverage information about specific failure modes. Here, we experiment with targeted LAT where the adversary seeks to minimize loss on a specific competing task. We find that it can augment a wide variety of state-of-the-art methods. First, we use targeted LAT to improve robustness to jailbreaks, outperforming a strong R2D2 baseline with orders of magnitude less compute. Second, we use it to more effectively remove backdoors with no knowledge of the trigger. Finally, we use it to more effectively unlearn knowledge for specific undesirable tasks in a way that is also more robust to re-learning. Overall, our results suggest that targeted LAT can be an effective tool for defending against harmful behaviors from LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google