Advancing LLM Safe Alignment with Safety Representation Ranking

要約

大規模な言語モデル（LLMS）の急速な進歩は、さまざまなタスクでマイルストーンの成功を実証していますが、有害なコンテンツを生成する可能性は重大な安全上の懸念を引き起こしました。
既存の安全評価アプローチは、通常、テキスト応答に直接動作し、モデルの内部表現に組み込まれた豊富な情報を見落とします。
この論文では、LLM自体から隠された状態を使用して安全な応答を選択するリストごとのランキングフレームワークである安全性表現ランキング（SRR）を提案します。
SRRは、中間変圧器の表現を使用して指示と候補の両方の完了をエンコードし、軽量の類似性ベースの得点者を介して候補者をランク付けします。
私たちのアプローチは、内部モデルの状態とリストレベルでの監督を直接活用して、微妙な安全信号をキャプチャします。
複数のベンチマークにわたる実験は、SRRが敵対的なプロンプトに対する堅牢性を大幅に改善することを示しています。
私たちのコードは公開時に利用可能になります。

要約(オリジナル)

The rapid advancement of large language models (LLMs) has demonstrated milestone success in a variety of tasks, yet their potential for generating harmful content has raised significant safety concerns. Existing safety evaluation approaches typically operate directly on textual responses, overlooking the rich information embedded in the model’s internal representations. In this paper, we propose Safety Representation Ranking (SRR), a listwise ranking framework that selects safe responses using hidden states from the LLM itself. SRR encodes both instructions and candidate completions using intermediate transformer representations and ranks candidates via a lightweight similarity-based scorer. Our approach directly leverages internal model states and supervision at the list level to capture subtle safety signals. Experiments across multiple benchmarks show that SRR significantly improves robustness to adversarial prompts. Our code will be available upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google