Knowledge Graph Large Language Model (KG-LLM) for Link Prediction

要約

ナレッジ グラフ (KG) 内の複数のリンクを予測するタスクは、ナレッジ グラフ分析の分野での課題となっていますが、自然言語処理 (NLP) と KG 埋め込み技術の進歩により、この課題はますます解決可能になっています。
このペーパーでは、思考連鎖 (CoT) プロンプトやコンテキスト内学習 (ICL) などの重要な NLP パラダイムを活用してマルチホップを強化する、新しい方法論であるナレッジ グラフ大規模言語モデル フレームワーク (KG-LLM) を紹介します。
KG でのリンク予測。
KG を CoT プロンプトに変換することで、私たちのフレームワークは、エンティティの潜在的な表現とそれらの相互関係を識別して学習するように設計されています。
KG-LLM フレームワークの有効性を示すために、このフレームワーク内で 3 つの主要なラージ言語モデル (LLM) を微調整し、非 ICL タスクと ICL タスクの両方を使用して包括的な評価を行います。
さらに、これまで見えなかったプロンプトを処理するためのゼロショット機能を LLM に提供するフレームワークの可能性を探ります。
私たちの実験結果では、ICL と CoT を統合すると、アプローチのパフォーマンスが向上するだけでなく、モデルの一般化能力も大幅に向上し、それによって不慣れなシナリオでもより正確な予測が保証されることがわかりました。

要約(オリジナル)

The task of predicting multiple links within knowledge graphs (KGs) stands as a challenge in the field of knowledge graph analysis, a challenge increasingly resolvable due to advancements in natural language processing (NLP) and KG embedding techniques. This paper introduces a novel methodology, the Knowledge Graph Large Language Model Framework (KG-LLM), which leverages pivotal NLP paradigms, including chain-of-thought (CoT) prompting and in-context learning (ICL), to enhance multi-hop link prediction in KGs. By converting the KG to a CoT prompt, our framework is designed to discern and learn the latent representations of entities and their interrelations. To show the efficacy of the KG-LLM Framework, we fine-tune three leading Large Language Models (LLMs) within this framework, employing both non-ICL and ICL tasks for a comprehensive evaluation. Further, we explore the framework’s potential to provide LLMs with zero-shot capabilities for handling previously unseen prompts. Our experimental findings discover that integrating ICL and CoT not only augments the performance of our approach but also significantly boosts the models’ generalization capacity, thereby ensuring more precise predictions in unfamiliar scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google