Knowledge Mechanisms in Large Language Models: A Survey and Perspective

要約

大規模言語モデル (LLM) の知識メカニズムを理解することは、信頼できる AGI を目指して前進するために重要です。
本稿では、知識の利用と進化を含む新しい分類法からの知識メカニズムの分析をレビューします。
知識の活用では、記憶、理解と応用、創造のメカニズムを掘り下げます。
知識の進化は、個人およびグループの LLM 内での知識の動的な進歩に焦点を当てています。
さらに、LLM がどのような知識を学んだのか、パラメトリック知識の脆弱性の理由、および対処が困難な潜在的な闇の知識 (仮説) について説明します。
この研究が LLM の知識を理解し、将来の研究のための洞察を提供するのに役立つことを願っています。

要約(オリジナル)

Understanding knowledge mechanisms in Large Language Models (LLMs) is crucial for advancing towards trustworthy AGI. This paper reviews knowledge mechanism analysis from a novel taxonomy including knowledge utilization and evolution. Knowledge utilization delves into the mechanism of memorization, comprehension and application, and creation. Knowledge evolution focuses on the dynamic progression of knowledge within individual and group LLMs. Moreover, we discuss what knowledge LLMs have learned, the reasons for the fragility of parametric knowledge, and the potential dark knowledge (hypothesis) that will be challenging to address. We hope this work can help understand knowledge in LLMs and provide insights for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google