ASIDE: Architectural Separation of Instructions and Data in Language Models

要約

彼らの驚くべきパフォーマンスにもかかわらず、大規模な言語モデルには基本的な安全性の機能があり、これにより多くの悪意のある攻撃の影響を受けやすくなります。
特に、以前の研究では、迅速な注射攻撃の成功の根本原因として、指示とデータの間に本質的な分離がないことが特定されています。
この作業では、モデルに個別の埋め込みを使用して、モデルが指示とデータを明確に分離できるようにするアーキテクチャの変更を除いて提案します。
埋め込みをゼロからトレーニングする代わりに、元のモデルの埋め込み層の2つのコピーを使用して、そのうちの1つに直交回転を適用することにより、既存のモデルを脇に変換する方法を提案します。
（1）モデル能力の損失なしに、（2）専用の安全トレーニングがなくても、迅速な噴射ベンチマークの競争結果を示すことにより、私たちの方法の有効性を実証します。
さらに、モデル表現の分析を通じて、方法の背後にある作業メカニズムを研究します。

要約(オリジナル)

Despite their remarkable performance, large language models lack elementary safety features, and this makes them susceptible to numerous malicious attacks. In particular, previous work has identified the absence of an intrinsic separation between instructions and data as a root cause for the success of prompt injection attacks. In this work, we propose an architectural change, ASIDE, that allows the model to clearly separate between instructions and data by using separate embeddings for them. Instead of training the embeddings from scratch, we propose a method to convert an existing model to ASIDE form by using two copies of the original model’s embeddings layer, and applying an orthogonal rotation to one of them. We demonstrate the effectiveness of our method by showing (1) highly increased instruction-data separation scores without a loss in model capabilities and (2) competitive results on prompt injection benchmarks, even without dedicated safety training. Additionally, we study the working mechanism behind our method through an analysis of model representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google