Filter-then-Generate: Large Language Models with Structure-Text Adapter for Knowledge Graph Completion

要約

大規模言語モデル (LLM) は、膨大な固有の知識と優れた意味理解能力を提供し、自然言語処理におけるさまざまなタスクに革命をもたらしました。
成功にもかかわらず、LLM がナレッジ グラフ補完 (KGC) を実行できるようにするには、重大なギャップが残っています。
経験的証拠は、洗練されたプロンプト設計やカスタマイズされた命令チューニングを介した場合でも、LLM は従来の KGC アプローチよりも常にパフォーマンスが低いことを示唆しています。
基本的に、LLM を KGC に適用すると、エンティティ候補の膨大なセット、LLM の幻覚問題、グラフ構造の悪用など、いくつかの重大な課題が生じます。
これらの課題に対処するために、私たちは新しい命令チューニングベースの方法、すなわち FtG を提案します。
具体的には、\textit{filter-then-generate} パラダイムを提示し、KGC タスクを多肢選択式の質問形式に定式化します。
このようにして、幻覚によって引き起こされる問題を軽減しながら、LLM の機能を活用できます。
さらに、柔軟なエゴグラフシリアル化プロンプトを考案し、構造とテキスト情報を文脈に応じた方法で結合するために構造テキストアダプターを採用します。
実験結果は、FtG が既存の最先端の方法と比較して大幅なパフォーマンス向上を達成することを示しています。
命令データセットとコードは \url{https://github.com/LB0828/FtG} で入手できます。

要約(オリジナル)

Large Language Models (LLMs) present massive inherent knowledge and superior semantic comprehension capability, which have revolutionized various tasks in natural language processing. Despite their success, a critical gap remains in enabling LLMs to perform knowledge graph completion (KGC). Empirical evidence suggests that LLMs consistently perform worse than conventional KGC approaches, even through sophisticated prompt design or tailored instruction-tuning. Fundamentally, applying LLMs on KGC introduces several critical challenges, including a vast set of entity candidates, hallucination issue of LLMs, and under-exploitation of the graph structure. To address these challenges, we propose a novel instruction-tuning-based method, namely FtG. Specifically, we present a \textit{filter-then-generate} paradigm and formulate the KGC task into a multiple-choice question format. In this way, we can harness the capability of LLMs while mitigating the issue casused by hallucinations. Moreover, we devise a flexible ego-graph serialization prompt and employ a structure-text adapter to couple structure and text information in a contextualized manner. Experimental results demonstrate that FtG achieves substantial performance gain compared to existing state-of-the-art methods. The instruction dataset and code are available at \url{https://github.com/LB0828/FtG}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google