Controllable Context Sensitivity and the Knob Behind It

要約

予測を行うとき、言語モデルは、そのコンテキストと事前の知識にどれだけ依存しているかをトレードオフする必要があります。
モデルがコンテキストにどれほど敏感であるかを選択することは、モデルが検索された生成や質問を回答するなどのタスクに優れているため、基本的な機能です。
このホワイトペーパーでは、この感度を制御するノブを検索し、言語モデルがコンテキストまたはその事前知識から答えるかどうかを判断します。
この検索をガイドするために、制御可能なコンテキスト感度のタスクを設計します。
このタスクでは、最初にモデルAコンテキスト（パリはイギリスにあります）と質問（パリはどこにありますか？）を与えます。
次に、モデルに以前またはコンテキストの知識を使用するように指示し、両方の意図（フランスまたはイギリス）の正しい答えを生成するかどうかを評価します。
このタスクで微調整されると、Llama-3.1、Mistral-V0.3、およびGemma-2の命令チューニングバージョンが高精度（85-95％）でそれを解くことができます。
これらの高性能モデルを分析すると、新しい線形時間アルゴリズムを使用して、コンテキスト感度にとって重要なレイヤーを絞り込みます。
次に、各モデルで、モデルがコンテキストに従うか事前知識に従うかをコードする単一層の1Dサブスペースを識別します。
興味深いことに、このサブスペースを微調整されたモデルで識別しますが、まったく同じ部分空間が、そのモデルだけでなく、そのモデルファミリの非ファインチューニング命令およびベースモデルでも効果的なノブとして機能することがわかります。
最後に、モデルのパフォーマンスと、このサブスペースのコンテキストに無知な答えとコンテキストと同時にどの程度分離されるかとの強い相関関係が示されます。
これらの結果は、単一のサブスペースがモデルがコンテキストと事前知識の間でどのように選択するかを促進し、この動作を制御する単純な基本メカニズムを示唆していることを示唆しています。

要約(オリジナル)

When making predictions, a language model must trade off how much it relies on its context vs. its prior knowledge. Choosing how sensitive the model is to its context is a fundamental functionality, as it enables the model to excel at tasks like retrieval-augmented generation and question-answering. In this paper, we search for a knob which controls this sensitivity, determining whether language models answer from the context or their prior knowledge. To guide this search, we design a task for controllable context sensitivity. In this task, we first feed the model a context (Paris is in England) and a question (Where is Paris?); we then instruct the model to either use its prior or contextual knowledge and evaluate whether it generates the correct answer for both intents (either France or England). When fine-tuned on this task, instruction-tuned versions of Llama-3.1, Mistral-v0.3, and Gemma-2 can solve it with high accuracy (85-95%). Analyzing these high-performing models, we narrow down which layers may be important to context sensitivity using a novel linear time algorithm. Then, in each model, we identify a 1-D subspace in a single layer that encodes whether the model follows context or prior knowledge. Interestingly, while we identify this subspace in a fine-tuned model, we find that the exact same subspace serves as an effective knob in not only that model but also non-fine-tuned instruct and base models of that model family. Finally, we show a strong correlation between a model’s performance and how distinctly it separates context-agreeing from context-ignoring answers in this subspace. These results suggest a single subspace facilitates how the model chooses between context and prior knowledge, hinting at a simple fundamental mechanism that controls this behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google