ASIDE: Architectural Separation of Instructions and Data in Language Models

要約

彼らの驚くべきパフォーマンスにもかかわらず、大規模な言語モデルには基本的な安全性の機能があり、これにより多くの悪意のある攻撃の影響を受けやすくなります。
特に、以前の研究では、迅速な注射攻撃の成功の根本原因として、指示とデータの間に本質的な分離がないことが特定されています。
この作業では、モデルが埋め込みのレベルに関する命令とデータを明確に区別できるようにする方法を除いて提案します。
さておき、データトークンの埋め込みに固定直交回転を適用するため、追加のパラメーターを導入することなく、命令とデータトークンの明確な表現を作成します。
LLMSを脇に置き、（1）モデル機能の損失と（2）専用の安全トレーニングがなくても、迅速な噴射ベンチマークの競争結果を示すことで、LLMSを指示することにより、方法の有効性を実証します。
さらに、モデル表現の分析を通じて、方法の背後にある作業メカニズムを研究します。

要約(オリジナル)

Despite their remarkable performance, large language models lack elementary safety features, and this makes them susceptible to numerous malicious attacks. In particular, previous work has identified the absence of an intrinsic separation between instructions and data as a root cause for the success of prompt injection attacks. In this work, we propose a method, ASIDE, that allows the model to clearly separate between instructions and data on the level of embeddings. ASIDE applies a fixed orthogonal rotation to the embeddings of data tokens, thus creating distinct representations of instructions and data tokens without introducing any additional parameters. We demonstrate the effectiveness of our method by instruct-tuning LLMs with ASIDE and showing (1) highly increased instruction-data separation scores without a loss in model capabilities and (2) competitive results on prompt injection benchmarks, even without dedicated safety training. Additionally, we study the working mechanism behind our method through an analysis of model representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google