KG-LLM-Bench: A Scalable Benchmark for Evaluating LLM Reasoning on Textualized Knowledge Graphs

要約

知識グラフは、最新の事実の知識を大規模な言語モデル（LLM）に注入するための一般的な方法として浮上しています。
これは通常、LLMがコンテキストで処理できる知識グラフをテキストに変換することによって達成されます。
知識グラフをエンコードする複数の方法が提案されていますが、LLMパフォーマンスに対するこのテキスト化プロセスの影響は未調査のままです。
5つの知識グラフ理解タスクにまたがる包括的で拡張可能なベンチマークであるKG-LLMベンチを紹介し、さまざまなエンコード戦略がさまざまなベースモデルのパフォーマンスにどのように影響するかを評価します。
7つの言語モデルと5つのテキスト化戦略を備えた当社の広範な実験は、KG推論タスクでLLMパフォーマンスを最適化するための洞察を提供します。

要約(オリジナル)

Knowledge graphs have emerged as a popular method for injecting up-to-date, factual knowledge into large language models (LLMs). This is typically achieved by converting the knowledge graph into text that the LLM can process in context. While multiple methods of encoding knowledge graphs have been proposed, the impact of this textualization process on LLM performance remains under-explored. We introduce KG-LLM-Bench, a comprehensive and extensible benchmark spanning five knowledge graph understanding tasks, and evaluate how different encoding strategies affect performance across various base models. Our extensive experiments with seven language models and five textualization strategies provide insights for optimizing LLM performance on KG reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google