KGLens: A Parameterized Knowledge Graph Solution to Assess What an LLM Does and Doesn’t Know

要約

ナレッジ グラフ (KG) と大規模言語モデル (LLM) の間の整合性を測定することは、事実性を評価し、LLM の知識の盲点を特定する効果的な方法です。
ただし、このアプローチでは、KG の自然言語への翻訳と、これらの広範で複雑な構造の効率的な評価を含む 2 つの主要な課題に直面します。
この論文では、KG と LLM の間の整合性を測定し、KG と比較した LLM の知識不足を正確に特定することを目的とした新しいフレームワークである KGLens を紹介します。
KGLens は、KG を自然言語に変換するためのグラフガイド付きの質問生成機能と、KG のトラバースを促進するためのパラメータ化された KG 構造に基づいた慎重に設計されたサンプリング戦略を備えています。
私たちは、ウィキデータの 3 つのドメイン固有の KG を使用して実験を実施しました。この KG は、19,000 以上のエッジ、700 のリレーション、および 21,000 のエンティティで構成されています。
8 つの LLM にわたる分析により、KGLens が LLM の事実の正確さをより迅速に評価するだけでなく、トピック、時間的ダイナミクス、および関係性に関する詳細な分析も提供できることが明らかになりました。
さらに、人間による評価の結果では、KGLens が人間のアノテーターとほぼ同等の精度で LLM を評価でき、95.7% の精度を達成できることが示されています。

要約(オリジナル)

Measuring the alignment between a Knowledge Graph (KG) and Large Language Models (LLMs) is an effective method to assess the factualness and identify the knowledge blind spots of LLMs. However, this approach encounters two primary challenges including the translation of KGs into natural language and the efficient evaluation of these extensive and complex structures. In this paper, we present KGLens–a novel framework aimed at measuring the alignment between KGs and LLMs, and pinpointing the LLMs’ knowledge deficiencies relative to KGs. KGLens features a graph-guided question generator for converting KGs into natural language, along with a carefully designed sampling strategy based on parameterized KG structure to expedite KG traversal. We conducted experiments using three domain-specific KGs from Wikidata, which comprise over 19,000 edges, 700 relations, and 21,000 entities. Our analysis across eight LLMs reveals that KGLens not only evaluates the factual accuracy of LLMs more rapidly but also delivers in-depth analyses on topics, temporal dynamics, and relationships. Furthermore, human evaluation results indicate that KGLens can assess LLMs with a level of accuracy nearly equivalent to that of human annotators, achieving 95.7% of the accuracy rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google