Knowledge Graph Large Language Model (KG-LLM) for Link Prediction

要約

ナレッジ グラフ (KG) 内のマルチホップ リンク予測のタスクは、予測を行う前にモデルがすべての中間接続を推論して理解する必要があるため、ナレッジ グラフ分析の分野では課題となっています。
このペーパーでは、ナレッジ グラフ タスクに大規模言語モデル (LLM) を活用する新しいフレームワークである、ナレッジ グラフ大規模言語モデル (KG-LLM) を紹介します。
まず構造化ナレッジ グラフ データを自然言語に変換し、次にこれらの自然言語プロンプトを使用して LLM を微調整し、KG でのマルチホップ リンク予測を強化します。
KG を自然言語プロンプトに変換することで、私たちのフレームワークはエンティティの潜在的な表現とそれらの相互関係を学習するように設計されています。
KG-LLM フレームワークの有効性を示すために、Flan-T5、LLaMa2、Gemma など、このフレームワーク内の 3 つの主要な LLM を微調整します。
さらに、これまで見えなかったプロンプトを処理するためのゼロショット機能を LLM に提供するフレームワークの可能性を探ります。
実験結果は、KG-LLM がモデルの一般化機能を大幅に向上させ、不慣れなシナリオでもより正確な予測を可能にすることを示しています。

要約(オリジナル)

The task of multi-hop link prediction within knowledge graphs (KGs) stands as a challenge in the field of knowledge graph analysis, as it requires the model to reason through and understand all intermediate connections before making a prediction. In this paper, we introduce the Knowledge Graph Large Language Model (KG-LLM), a novel framework that leverages large language models (LLMs) for knowledge graph tasks. We first convert structured knowledge graph data into natural language and then use these natural language prompts to fine-tune LLMs to enhance multi-hop link prediction in KGs. By converting the KG to natural language prompts, our framework is designed to learn the latent representations of entities and their interrelations. To show the efficacy of the KG-LLM Framework, we fine-tune three leading LLMs within this framework, including Flan-T5, LLaMa2 and Gemma. Further, we explore the framework’s potential to provide LLMs with zero-shot capabilities for handling previously unseen prompts. Experimental results show that KG-LLM significantly improves the models’ generalization capabilities, leading to more accurate predictions in unfamiliar scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google