Do LLMs ‘know’ internally when they follow instructions?

要約

大規模言語モデル (LLM) を使用して AI エージェントを構築するには、指示に従うことが重要です。これらのモデルはユーザーが指定した制約とガイドラインに厳密に従う必要があるためです。
ただし、LLM は、単純で明確な指示にも従わないことがよくあります。
命令に従う動作を改善し、望ましくない出力を防止するには、LLM の内部状態がこれらの結果にどのように関連しているかをより深く理解する必要があります。
LLM の内部状態を分析したところ、命令追従の成功に関連する入力埋め込み空間の次元が明らかになりました。
この次元に沿って表現を変更すると、応答の品質を損なうことなく、ランダムな変更と比較して命令後の成功率が向上することを実証します。
さらなる調査により、この次元は、タスクや指示の固有の難しさよりも、プロンプトの表現に密接に関連していることが明らかになりました。
この発見は、LLM が明確な指示に従わないことがある理由、および内容がほとんど変わらない場合でも、迅速なエンジニアリングが効果的であることが多い理由の説明も示唆しています。
この研究により、LLM の指示に従う内部動作についての洞察が得られ、信頼できる LLM エージェントへの道が開かれます。

要約(オリジナル)

Instruction-following is crucial for building AI agents with large language models (LLMs), as these models must adhere strictly to user-provided constraints and guidelines. However, LLMs often fail to follow even simple and clear instructions. To improve instruction-following behavior and prevent undesirable outputs, a deeper understanding of how LLMs’ internal states relate to these outcomes is required. Our analysis of LLM internal states reveal a dimension in the input embedding space linked to successful instruction-following. We demonstrate that modifying representations along this dimension improves instruction-following success rates compared to random changes, without compromising response quality. Further investigation reveals that this dimension is more closely related to the phrasing of prompts rather than the inherent difficulty of the task or instructions. This discovery also suggests explanations for why LLMs sometimes fail to follow clear instructions and why prompt engineering is often effective, even when the content remains largely unchanged. This work provides insight into the internal workings of LLMs’ instruction-following, paving the way for reliable LLM agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google