Exploiting Contextual Knowledge in LLMs through V-usable Information based Layer Enhancement

要約

大規模な言語モデル（LLMS）は、さまざまなタスクで顕著な能力を実証していますが、文脈的知識を適切に反映する文脈の忠実さの世代と格闘していることがよくあります。
既存のアプローチは、デコード戦略の強化に焦点を当てていますが、LLMSの内部状態内でコンテキスト情報がどのように処理されるかの基本的なメカニズムを無視します。
その結果、LLMSは、コンテキストの知識を完全に活用する能力が限られたままです。
この論文では、LLMSの内部表現内のコンテキスト知識の利用を強化する新しい介入方法であるコンテキストアウェアレイヤーエンハンスメント（CALE）を提案します。
V使用可能な情報分析を採用することにより、Caleは最適な層でコンテキスト情報の成長を戦略的に増幅し、それにより最終層の表現を濃縮します。
私たちの実験は、Caleが、特に不明または矛盾する文脈的知識を含むシナリオで、問題を解決するタスクにおけるコンテキストの信念の生成を効果的に改善することを示しています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable capabilities in various tasks, yet they often struggle with context-faithfulness generations that properly reflect contextual knowledge. While existing approaches focus on enhancing the decoding strategies, they ignore the fundamental mechanism of how contextual information is processed within LLMs’ internal states. As a result, LLMs remain limited in their ability to fully leverage contextual knowledge. In this paper, we propose Context-aware Layer Enhancement (CaLE), a novel intervention method that enhances the utilization of contextual knowledge within LLMs’ internal representations. By employing V-usable information analysis, CaLE strategically amplifies the growth of contextual information at an optimal layer, thereby enriching representations in the final layer. Our experiments demonstrate that CaLE effectively improves context-faithful generation in Question-Answering tasks, particularly in scenarios involving unknown or conflicting contextual knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google