Knowledge Graphs for Enhancing Large Language Models in Entity Disambiguation

要約

近年の大規模言語モデル（LLM）の進歩により、LLMは自然言語処理タスクの有力なソリューションとして位置づけられている。特筆すべきは、LLMはゼロショットまたは数ショットでこれらの問題にアプローチできるため、タスク固有のモデルを訓練したり微調整したりする必要がないことである。しかし、LLMは、幻覚や、学習データ中の特定のドメインからの古い知識や欠落した情報の存在など、いくつかの課題に直面している。これらの問題は、新しいデータでモデルを再トレーニングすることで簡単に解決できるものではなく、時間とコストのかかるプロセスである。これらの問題を軽減するために、LLMを充実させるための構造化された外部情報源として知識グラフ（KG）が提案されている。この考え方に基づき、本研究では、ゼロショットED（Entity Disambiguation）のためのLLMを強化するためにKGを利用する。この目的のために、我々はKGのエンティティクラスの階層表現を利用し、候補空間を徐々に刈り込み、またエンティティの説明を入力プロンプトに付加的な事実知識で豊かにする。一般的なEDデータセットを用いた評価により、提案手法は非強化LLMや記述のみの強化LLMを凌駕し、タスクに特化したモデルよりも高い適応性を持つことが示される。さらに、エラー分析を行い、KGの意味的表現力がED性能に与える影響について議論する。

要約(オリジナル)

Recent advances in Large Language Models (LLMs) have positioned them as a prominent solution for Natural Language Processing tasks. Notably, they can approach these problems in a zero or few-shot manner, thereby eliminating the need for training or fine-tuning task-specific models. However, LLMs face some challenges, including hallucination and the presence of outdated knowledge or missing information from specific domains in the training data. These problems cannot be easily solved by retraining the models with new data as it is a time-consuming and expensive process. To mitigate these issues, Knowledge Graphs (KGs) have been proposed as a structured external source of information to enrich LLMs. With this idea, in this work we use KGs to enhance LLMs for zero-shot Entity Disambiguation (ED). For that purpose, we leverage the hierarchical representation of the entities’ classes in a KG to gradually prune the candidate space as well as the entities’ descriptions to enrich the input prompt with additional factual knowledge. Our evaluation on popular ED datasets shows that the proposed method outperforms non-enhanced and description-only enhanced LLMs, and has a higher degree of adaptability than task-specific models. Furthermore, we conduct an error analysis and discuss the impact of the leveraged KG’s semantic expressivity on the ED performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL