LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities

要約

この論文では、ナレッジ グラフ (KG) の構築と推論のための大規模言語モデル (LLM) の徹底的な定量的および定性的評価を示します。
私たちは、エンティティ、関係およびイベントの抽出、リンク予測、質問応答などの側面を網羅する 8 つの異なるデータセットを採用しています。
経験的に、私たちの調査結果は、GPT-4 がほとんどのタスクで ChatGPT を上回り、特定の推論および質問応答データセットでは微調整されたモデルをも上回ることを示唆しています。
さらに、私たちの調査は、情報抽出のための LLM の潜在的な一般化能力にまで及び、仮想知識抽出タスクの提示と VINE データセットの開発で最高潮に達します。
これらの経験的発見に基づいて、私たちはさらに、KG の構築と推論に LLM を使用するマルチエージェントベースのアプローチである AutoKG を提案します。これは、この分野の将来を描き、進歩のための刺激的な機会を提供することを目的としています。
私たちは、私たちの調査が、KG\footnote{コードとデータセットは https://github.com/zjunlp/AutoKG で利用可能になります。

要約(オリジナル)

This paper presents an exhaustive quantitative and qualitative evaluation of Large Language Models (LLMs) for Knowledge Graph (KG) construction and reasoning. We employ eight distinct datasets that encompass aspects including entity, relation and event extraction, link prediction, and question answering. Empirically, our findings suggest that GPT-4 outperforms ChatGPT in the majority of tasks and even surpasses fine-tuned models in certain reasoning and question-answering datasets. Moreover, our investigation extends to the potential generalization ability of LLMs for information extraction, which culminates in the presentation of the Virtual Knowledge Extraction task and the development of the VINE dataset. Drawing on these empirical findings, we further propose AutoKG, a multi-agent-based approach employing LLMs for KG construction and reasoning, which aims to chart the future of this field and offer exciting opportunities for advancement. We anticipate that our research can provide invaluable insights for future undertakings of KG\footnote{Code and datasets will be available in https://github.com/zjunlp/AutoKG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google