Improving Reasoning Performance in Large Language Models via Representation Engineering

要約

大規模な言語モデル（LLMS）の最近の進歩により、LLMが推論する能力に関する擬人化言語がますます増えています。
しかし、LLMの推論が本質的に異なると理解すべきかどうかは、広く議論されています。
推論タスクを処理する際にLLMの残差ストリームからモデルのアクティベーションが読み取られる表現エンジニアリングアプローチを利用することを提案します。
アクティベーションは、指定されたタスクのパフォーマンスを改善するために、モデルの表現空間を変調する推論時間介入としてモデルに適用される制御ベクトルを導出するために使用されます。
制御ベクトルを導き出し、モデル表現を分析するためのコードを公開します。
この方法により、推論ベンチマークのパフォーマンスを改善し、制御ベクトルがKL発散やエントロピーなどのメトリックを介してモデルの最終ロジット分布にどのように影響するかを評価できます。
Mistral-7B-Instructと、誘導性、演ductive的、数学的推論タスクにPythiaモデルの範囲に制御ベクトルを適用します。
LLMは、ある程度、アクティベーションを調節することにより、知覚された推論能力を改善するために制御できることを示しています。
介入は、タスクを正しく解くときにモデルの典型的な状態を確実に抽出する能力に依存します。
我々の結果は、LLMSが実行する他の情報処理タスクと同じ方法で推論パフォーマンスを変調できることを示唆しており、追加のトレーニングなしで残留ストリームでの単純な介入を介して特定のタスクのパフォーマンスを改善できることを示しています。

要約(オリジナル)

Recent advancements in large language models (LLMs) have resulted in increasingly anthropomorphic language concerning the ability of LLMs to reason. Whether reasoning in LLMs should be understood to be inherently different is, however, widely debated. We propose utilizing a representation engineering approach wherein model activations are read from the residual stream of an LLM when processing a reasoning task. The activations are used to derive a control vector that is applied to the model as an inference-time intervention, modulating the representational space of the model, to improve performance on the specified task. We publish the code for deriving control vectors and analyzing model representations. The method allows us to improve performance on reasoning benchmarks and assess how control vectors influence the final logit distribution of a model via metrics such as KL divergence and entropy. We apply control vectors to Mistral-7B-Instruct and a range of Pythia models on an inductive, a deductive and mathematical reasoning task. We show that an LLM can, to a certain degree, be controlled to improve its perceived reasoning ability by modulating activations. The intervention is dependent upon the ability to reliably extract the model’s typical state when correctly solving a task. Our results suggest that reasoning performance can be modulated in the same manner as other information-processing tasks performed by LLMs and demonstrate that we are capable of improving performance on specific tasks via a simple intervention on the residual stream with no additional training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google