Making Large Language Models Perform Better in Knowledge Graph Completion

要約

大規模言語モデル (LLM) ベースのナレッジ グラフ補完 (KGC) は、LLM を使用して KG 内の欠落しているトリプルを予測し、KG を強化してより優れた Web インフラストラクチャにすることを目的としています。これは、多くの Web ベースの自動サービスに利益をもたらすことができます。
しかし、LLM ベースの KGC に関する研究は限られており、LLM の推論機能の効果的な利用が不足しているため、KG 内の重要な構造情報が無視され、LLM が正確な事実知識を取得することができません。
この論文では、LLM で構造を意識した推論を実現することを目的として、役立つ KG 構造情報を LLM に組み込む方法について説明します。
まず既存の LLM パラダイムを構造を意識した設定に移行し、さらにこの規定された目標を達成するためにナレッジ プレフィックス アダプター (KoPA) を提案します。
KoPA は、構造埋め込み事前トレーニングを採用して、KG 内のエンティティと関係の構造情報を取得します。
次に、KoPA は、構造埋め込みをテキスト空間に投影し、入力プロンプトのプレフィックスとして仮想ナレッジ トークンを取得するナレッジ プレフィックス アダプターを LLM に通知します。
私たちは、これらの構造を意識した LLM ベースの KGC 手法について包括的な実験を実施し、LLM の知識推論能力にとって構造情報の導入がどのように優れているかを比較する詳細な分析を提供します。
私たちのコードは https://github.com/zjukg/KoPA でリリースされています。

要約(オリジナル)

Large language model (LLM) based knowledge graph completion (KGC) aims to predict the missing triples in the KGs with LLMs and enrich the KGs to become better web infrastructure, which can benefit a lot of web-based automatic services. However, research about LLM-based KGC is limited and lacks effective utilization of LLM’s inference capabilities, which ignores the important structural information in KGs and prevents LLMs from acquiring accurate factual knowledge. In this paper, we discuss how to incorporate the helpful KG structural information into the LLMs, aiming to achieve structrual-aware reasoning in the LLMs. We first transfer the existing LLM paradigms to structural-aware settings and further propose a knowledge prefix adapter (KoPA) to fulfill this stated goal. KoPA employs structural embedding pre-training to capture the structural information of entities and relations in the KG. Then KoPA informs the LLMs of the knowledge prefix adapter which projects the structural embeddings into the textual space and obtains virtual knowledge tokens as a prefix of the input prompt. We conduct comprehensive experiments on these structural-aware LLM-based KGC methods and provide an in-depth analysis comparing how the introduction of structural information would be better for LLM’s knowledge reasoning ability. Our code is released at https://github.com/zjukg/KoPA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google