sudoLLM : On Multi-role Alignment of Language Models

要約

ユーザー認証ベースのアクセス特権は、多くの安全性が批判的なシステムの重要な機能ですが、これまで大規模な言語モデル（LLM）の領域には存在していません。
この作業では、このようなアクセス制御システムからインスピレーションを得て、Multi-Role Aligned LLM、つまりユーザーアクセス権を説明し、振る舞うLLMを整列させる新しいフレームワークであるSudollmを紹介します。
Sudollmは、ユーザーベースの微妙なバイアスをクエリに注入し、LLMをトレーニングしてこのバイアス信号を利用して、ユーザーが承認されている場合にのみ機密情報を作成します。
このアプローチが、迅速なジェルブレイク攻撃に対するアライメント、一般化、および抵抗が大幅に改善されたことを示す実証結果を示します。
しばしば脱獄LLMSに悪用される言語モデリングの目的と安全アライメントの間の持続的な緊張は、注入されたバイアス信号の助けを借りていくらか解決されます。
私たちのフレームワークは、追加のセキュリティレイヤーとして意図されており、LLMSでエンドツーエンドの安全性を高めるための既存のガードレールメカニズムを補完します。

要約(オリジナル)

User authorization-based access privileges are a key feature in many safety-critical systems, but have thus far been absent from the large language model (LLM) realm. In this work, drawing inspiration from such access control systems, we introduce sudoLLM, a novel framework that results in multi-role aligned LLMs, i.e., LLMs that account for, and behave in accordance with, user access rights. sudoLLM injects subtle user-based biases into queries and trains an LLM to utilize this bias signal in order to produce sensitive information if and only if the user is authorized. We present empirical results demonstrating that this approach shows substantially improved alignment, generalization, and resistance to prompt-based jailbreaking attacks. The persistent tension between the language modeling objective and safety alignment, which is often exploited to jailbreak LLMs, is somewhat resolved with the aid of the injected bias signal. Our framework is meant as an additional security layer, and complements existing guardrail mechanisms for enhanced end-to-end safety with LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google