LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities

要約

この論文では、ナレッジ グラフ (KG) の構築と推論のための大規模言語モデル (LLM) の徹底的な定量的および定性的評価を示します。
私たちは、エンティティと関係の抽出、イベント抽出、リンク予測、質問応答を含む 4 つの代表的なタスクに焦点を当て、8 つの多様なデータセットにわたる実験に取り組み、それによって構築と推論の領域における LLM のパフォーマンスを徹底的に調査します。
経験的に、私たちの調査結果は、GPT-4 に代表される LLM が、少数ショットの情報抽出者よりも推論アシスタントとして適していることを示唆しています。
具体的には、GPT-4 は KG 構築に関連するタスクでは優れたパフォーマンスを示しますが、推論タスクではさらに優れており、場合によっては微調整されたモデルを上回ります。
さらに、私たちの調査は、情報抽出のための LLM の潜在的な一般化能力にまで及び、仮想知識抽出タスクの提案と、対応する VINE データセットの開発につながりました。
これらの経験的発見に基づいて、我々はさらに、KG の構築と推論に LLM と外部ソースを使用するマルチエージェントベースのアプローチである AutoKG を提案します。
私たちは、この研究がナレッジ グラフの分野における将来の取り組みに貴重な洞察を提供できることを期待しています。
コードとデータセットは https://github.com/zjunlp/AutoKG にあります。

要約(オリジナル)

This paper presents an exhaustive quantitative and qualitative evaluation of Large Language Models (LLMs) for Knowledge Graph (KG) construction and reasoning. We engage in experiments across eight diverse datasets, focusing on four representative tasks encompassing entity and relation extraction, event extraction, link prediction, and question-answering, thereby thoroughly exploring LLMs’ performance in the domain of construction and inference. Empirically, our findings suggest that LLMs, represented by GPT-4, are more suited as inference assistants rather than few-shot information extractors. Specifically, while GPT-4 exhibits good performance in tasks related to KG construction, it excels further in reasoning tasks, surpassing fine-tuned models in certain cases. Moreover, our investigation extends to the potential generalization ability of LLMs for information extraction, leading to the proposition of a Virtual Knowledge Extraction task and the development of the corresponding VINE dataset. Based on these empirical findings, we further propose AutoKG, a multi-agent-based approach employing LLMs and external sources for KG construction and reasoning. We anticipate that this research can provide invaluable insights for future undertakings in the field of knowledge graphs. The code and datasets are in https://github.com/zjunlp/AutoKG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google