Is Large Language Model Good at Triple Set Prediction? An Empirical Study

要約

ナレッジ グラフ補完 (KGC) タスクの中核は、KG 内の欠落している関係またはノードを予測して完了することです。
一般的な KGC タスクは主に、トリプル内で 1 つまたは 2 つの既知の要素を含む未知の要素を推論することです。
比較すると、トリプル セット予測 (TSP) タスクは、より現実的なナレッジ グラフ完成タスクです。
既知のトリプルからの情報に基づいて、未知のトリプルのすべての要素を予測することを目的としています。
近年、大規模言語モデル (LLM) は言語理解において大幅な進歩を示し、KGC タスクの大きな可能性を示しています。
ただし、TSP タスクにおける LLM の可能性はまだ調査されていません。
したがって、この論文では、TSP タスクにおける LLM の長所と限界を調査するための新しいフレームワークを提案しました。
具体的には、このフレームワークは、LLM ベースのルール マイニングと LLM ベースのトリプル セット予測で構成されます。
豊富なセマンティック情報内に埋め込まれた KG の関係リストは、ルールの生成において LLM を促すために最初に利用されます。
このプロセスは効率的で統計情報に依存しないため、効果的で現実的なルールのマイニングが容易になります。
各サブグラフについて、指定されたルールがそのサブグラフ内の関連するトリプルと併せて適用され、欠落しているトリプルを予測する際に LLM をガイドします。
その後、すべてのサブグラフからの予測が統合されて、KG 上の予測されたトリプルの完全なセットが導出されます。
最後に、メソッドは比較的完全な CFamily データセットで評価されます。
実験結果は、LLM が欠落しているトリプルを予測するために大量の事実知識に従う必要がある場合、重大な幻覚が発生し、パフォーマンスの顕著な低下につながることを示しています。
この現象の原因をさらに調査するために、このホワイトペーパーでは、詳細なケーススタディに裏付けられた包括的な分析を示します。

要約(オリジナル)

The core of the Knowledge Graph Completion (KGC) task is to predict and complete the missing relations or nodes in a KG. Common KGC tasks are mostly about inferring unknown elements with one or two elements being known in a triple. In comparison, the Triple Set Prediction (TSP) task is a more realistic knowledge graph completion task. It aims to predict all elements of unknown triples based on the information from known triples. In recent years, large language models (LLMs) have exhibited significant advancements in language comprehension, demonstrating considerable potential for KGC tasks. However, the potential of LLM on the TSP task has not yet to be investigated. Thus in this paper we proposed a new framework to explore the strengths and limitations of LLM in the TSP task. Specifically, the framework consists of LLM-based rule mining and LLM-based triple set prediction. The relation list of KG embedded within rich semantic information is first leveraged to prompt LLM in the generation of rules. This process is both efficient and independent of statistical information, making it easier to mine effective and realistic rules. For each subgraph, the specified rule is applied in conjunction with the relevant triples within that subgraph to guide the LLM in predicting the missing triples. Subsequently, the predictions from all subgraphs are consolidated to derive the complete set of predicted triples on KG. Finally, the method is evaluated on the relatively complete CFamily dataset. The experimental results indicate that when LLMs are required to adhere to a large amount of factual knowledge to predict missing triples, significant hallucinations occurs, leading to a noticeable decline in performance. To further explore the causes of this phenomenon, this paper presents a comprehensive analysis supported by a detailed case study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google