When Context Leads but Parametric Memory Follows in Large Language Models

要約

大規模言語モデル (LLM) は、多様な知識ソースの活用において目覚ましい進歩を示しています。
この研究では、広く使用されている 9 つの LLM が、知識一貫性のあるシナリオで自由形式の質問に答える際に、ローカル コンテキストとグローバル パラメーターの間でどのように知識を割り当てるかを調査します。
新しいデータセット WikiAtomic を導入し、体系的にコンテキスト サイズを変更して、LLM が提供された情報とそのパラメトリック知識を知識一貫性のあるシナリオでどのように優先順位付けして活用するかを分析します。
さらに、さまざまな状況サイズの下で幻覚を見る傾向についても研究しています。
私たちの調査結果では、コンテキスト (約 70%) とパラメトリック (約 30%) の両方の知識への一貫した依存や、コンテキストの増加に伴う幻覚の減少など、モデル全体で一貫したパターンが明らかになりました。
これらの洞察は、より効果的なコンテキストの編成と、堅牢なパフォーマンスのために入力をより決定的に使用するモデルを開発することの重要性を強調しています。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable progress in leveraging diverse knowledge sources. This study investigates how nine widely used LLMs allocate knowledge between local context and global parameters when answering open-ended questions in knowledge-consistent scenarios. We introduce a novel dataset, WikiAtomic, and systematically vary context sizes to analyze how LLMs prioritize and utilize the provided information and their parametric knowledge in knowledge-consistent scenarios. Additionally, we also study their tendency to hallucinate under varying context sizes. Our findings reveal consistent patterns across models, including a consistent reliance on both contextual (around 70%) and parametric (around 30%) knowledge, and a decrease in hallucinations with increasing context. These insights highlight the importance of more effective context organization and developing models that use input more deterministically for robust performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google