Unveiling LLMs: The Evolution of Latent Representations in a Dynamic Knowledge Graph

要約

大規模言語モデル (LLM) は、広範囲にわたる事実の知識を思い返す優れた能力を示します。
しかし、この知識を活用する際のその根底にある推論と内部メカニズムを理解することは、依然として重要な研究分野です。
この研究により、文レベルの主張検証のために LLM が内部的に表す事実情報が明らかになります。
トークン表現に埋め込まれた事実知識をベクトル空間から一連の根拠述語に解読し、動的な知識グラフを使用して層ごとの進化を示すエンドツーエンドのフレームワークを提案します。
私たちのフレームワークは、エンコードされた知識を抽出するために、推論中にトークン表現を変更するベクトルレベルの技術であるアクティベーションパッチを採用しています。
したがって、トレーニングや外部モデルには依存しません。
2 つの主張検証データセットからの事実および常識的な主張を使用して、ローカルおよびグローバル レベルでの解釈可能性分析を紹介します。
ローカル分析では、クレーム関連情報やマルチホップ推論から、誤った評価を引き起こす表現エラーに至るまで、LLM 推論におけるエンティティの中心性が強調表示されます。
一方、グローバルでは、言葉ベースの知識がクレーム関連の事実に進化するなど、根底にある進化の傾向が明らかになります。
この研究では、LLM 潜在表現からセマンティクスを解釈し、グラフ関連の分析を可能にすることで、事実の知識解決プロセスの理解を強化します。

要約(オリジナル)

Large Language Models (LLMs) demonstrate an impressive capacity to recall a vast range of factual knowledge. However, understanding their underlying reasoning and internal mechanisms in exploiting this knowledge remains a key research area. This work unveils the factual information an LLM represents internally for sentence-level claim verification. We propose an end-to-end framework to decode factual knowledge embedded in token representations from a vector space to a set of ground predicates, showing its layer-wise evolution using a dynamic knowledge graph. Our framework employs activation patching, a vector-level technique that alters a token representation during inference, to extract encoded knowledge. Accordingly, we neither rely on training nor external models. Using factual and common-sense claims from two claim verification datasets, we showcase interpretability analyses at local and global levels. The local analysis highlights entity centrality in LLM reasoning, from claim-related information and multi-hop reasoning to representation errors causing erroneous evaluation. On the other hand, the global reveals trends in the underlying evolution, such as word-based knowledge evolving into claim-related facts. By interpreting semantics from LLM latent representations and enabling graph-related analyses, this work enhances the understanding of the factual knowledge resolution process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google