Who’s asking? User personas and the mechanics of latent misalignment

要約

モデルの安全性を向上させるための投資にもかかわらず、安全性が調整されたモデルには調整されていない機能が潜在的に残っていることが研究で示されています。
この研究では、この現象のメカニズムを明らかにします。
まず、モデルの生成が安全であっても、有害なコンテンツが隠れた表現に残る可能性があり、以前の層からデコードすることで抽出できることを示します。
次に、モデルがそのようなコンテンツを暴露するかどうかは、モデルが話している相手 (ユーザー ペルソナと呼ばれる) の認識に大きく依存することを示します。
実際、有害なコンテンツを引き出すには、モデルの拒否を直接制御するよりも、ユーザーのペルソナを操作する方がさらに効果的であることがわかりました。
私たちは、制御方法として自然言語プロンプトとアクティベーション ステアリングの両方を研究し、アクティベーション ステアリングの方が安全フィルターをバイパスするのに大幅に効果的であることを示しています。
私たちは、特定のペルソナがモデルの保護手段を破る理由を調査し、モデルが危険なクエリに対してより慈善的な解釈を形成できるようにしていることを発見しました。
最後に、ペルソナのステアリング ベクトルの幾何学形状のみが与えられた場合に、拒否に対するペルソナの影響を予測できることを示します。

要約(オリジナル)

Despite investments in improving model safety, studies show that misaligned capabilities remain latent in safety-tuned models. In this work, we shed light on the mechanics of this phenomenon. First, we show that even when model generations are safe, harmful content can persist in hidden representations and can be extracted by decoding from earlier layers. Then, we show that whether the model divulges such content depends significantly on its perception of who it is talking to, which we refer to as user persona. In fact, we find manipulating user persona to be even more effective for eliciting harmful content than direct attempts to control model refusal. We study both natural language prompting and activation steering as control methods and show that activation steering is significantly more effective at bypassing safety filters. We investigate why certain personas break model safeguards and find that they enable the model to form more charitable interpretations of otherwise dangerous queries. Finally, we show we can predict a persona’s effect on refusal given only the geometry of its steering vector.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google