Unveiling Factual Recall Behaviors of Large Language Models through Knowledge Neurons

要約

この論文では、大規模言語モデル (LLM) が、推論タスクに直面したときに事実知識の内部リポジトリを積極的に思い出すか、取得するかどうかを調査します。
知識ニューロンを介した各推論ステップにおけるLLMの内部事実想起の分析を通じて、特定の状況下ではLLMが重要な事実の関連性を活用できないことが明らかになりました。
代わりに、論理的な質問に答えるために、代替のショートカットのような経路を選択する傾向があります。
LLM のパラメトリック知識の想起プロセスを手動で操作することにより、この想起プロセスを強化すると推論パフォーマンスが直接向上するのに対し、このプロセスを抑制すると顕著な低下が生じることを示します。
さらに、複雑な推論タスクに対処するための強力な手法である思考連鎖 (CoT) プロンプトの効果を評価します。
私たちの調査結果は、CoT が LLM に秩序正しく信頼できる推論を行うよう促すことで、事実知識の想起を強化できることを示しています。
さらに、LLM の事実想起動作を包括的に理解するために、文脈上の矛盾が推論プロセス中の事実の検索にどのような影響を与えるかを調査しました。
コードとデータは間もなく利用可能になります。

要約(オリジナル)

In this paper, we investigate whether Large Language Models (LLMs) actively recall or retrieve their internal repositories of factual knowledge when faced with reasoning tasks. Through an analysis of LLMs’ internal factual recall at each reasoning step via Knowledge Neurons, we reveal that LLMs fail to harness the critical factual associations under certain circumstances. Instead, they tend to opt for alternative, shortcut-like pathways to answer reasoning questions. By manually manipulating the recall process of parametric knowledge in LLMs, we demonstrate that enhancing this recall process directly improves reasoning performance whereas suppressing it leads to notable degradation. Furthermore, we assess the effect of Chain-of-Thought (CoT) prompting, a powerful technique for addressing complex reasoning tasks. Our findings indicate that CoT can intensify the recall of factual knowledge by encouraging LLMs to engage in orderly and reliable reasoning. Furthermore, we explored how contextual conflicts affect the retrieval of facts during the reasoning process to gain a comprehensive understanding of the factual recall behaviors of LLMs. Code and data will be available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google