Can LLMs Separate Instructions From Data? And What Do We Even Mean By That?

要約

命令チューニングされた大規模言語モデル(LLM)は、多くの実用的なアプリケーションで素晴らしい結果を示しているが、コンピュータサイエンスの他の分野で一般的な本質的な安全機能、特に命令とデータの明示的な分離が欠けている。このため、間接的なプロンプトの注入などの操作に対して脆弱であり、一般に安全性が重要なタスクには適さない。驚くべきことに、この現象を定量化するための確立された定義やベンチマークは現在のところ存在しない。本研究では、命令とデータの分離に関する正式な尺度と、モデルの出力から計算可能な経験的な変形を導入することで、このギャップを埋める。また、新しいデータセットであるSEPを提示することで、実世界のモデルに対してこの尺度を推定することができる。様々なLLMに関する我々の結果は、命令とデータの分離の問題が現実的であることを示している。全てのモデルは高い分離を達成することができず、プロンプトエンジニアリングやファインチューニングのような典型的な緩和手法は、分離を大幅に改善することができないか、モデルの実用性を低下させるかのいずれかである。ソースコードとSEPデータセットはhttps://github.com/egozverev/Shold-It-Be-Executed-Or-Processed。

要約(オリジナル)

Instruction-tuned Large Language Models (LLMs) show impressive results in numerous practical applications, but they lack essential safety features that are common in other areas of computer science, particularly an explicit separation of instructions and data. This makes them vulnerable to manipulations such as indirect prompt injections and generally unsuitable for safety-critical tasks. Surprisingly, there is currently no established definition or benchmark to quantify this phenomenon. In this work, we close this gap by introducing a formal measure for instruction-data separation and an empirical variant that is calculable from a model’s outputs. We also present a new dataset, SEP, that allows estimating the measure for real-world models. Our results on various LLMs show that the problem of instruction-data separation is real: all models fail to achieve high separation, and canonical mitigation techniques, such as prompt engineering and fine-tuning, either fail to substantially improve separation or reduce model utility. The source code and SEP dataset are openly accessible at https://github.com/egozverev/Shold-It-Be-Executed-Or-Processed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL