Sowing the Wind, Reaping the Whirlwind: The Impact of Editing Language Models

要約

急速に進歩する人工知能の分野において、大規模言語モデル（LLM）のレッドチーム化またはジェイルブレーキングという概念が重要な研究分野として浮上している。このアプローチは、これらのモデルの安全性とロバスト性を評価し、強化するという点で特に重要である。本稿では、モデル編集によるこのような改変の複雑な結果を調査し、モデルの精度向上と倫理的完全性の維持の間の複雑な関係を明らかにする。正確な情報を注入することはモデルの信頼性にとって極めて重要であるが、逆説的にモデルの基礎となる枠組みを不安定にし、その結果、予測不可能で潜在的に安全でない行動を引き起こす可能性がある。さらに、この安全でない振る舞いを、同じトピックドメイン内とクロストピックドメインの両方で調査するために、ベンチマークデータセットNicheHazardQAを提案する。我々の研究のこの側面は、編集がモデルの安全性メトリクスとガードレールにどのような影響を与えるかに光を当てる。我々の発見は、モデル編集が、対象となる編集を整然と適用し、その結果生じるモデルの挙動を評価することによって、トピカルなレッドチーミングのための費用対効果の高いツールとして機能することを示している。

要約(オリジナル)

In the rapidly advancing field of artificial intelligence, the concept of Red-Teaming or Jailbreaking large language models (LLMs) has emerged as a crucial area of study. This approach is especially significant in terms of assessing and enhancing the safety and robustness of these models. This paper investigates the intricate consequences of such modifications through model editing, uncovering a complex relationship between enhancing model accuracy and preserving its ethical integrity. Our in-depth analysis reveals a striking paradox: while injecting accurate information is crucial for model reliability, it can paradoxically destabilize the model’s foundational framework, resulting in unpredictable and potentially unsafe behaviors. Additionally, we propose a benchmark dataset NicheHazardQA to investigate this unsafe behavior both within the same and cross topical domain. This aspect of our research sheds light on how the edits, impact the model’s safety metrics and guardrails. Our findings show that model editing serves as a cost-effective tool for topical red-teaming by methodically applying targeted edits and evaluating the resultant model behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL