Graphusion: Leveraging Large Language Models for Scientific Knowledge Graph Fusion and Construction in NLP Education

要約

ナレッジ グラフ (KG) は人工知能の分野で重要であり、質問応答 (QA) システムの強化など、下流のタスクに広く適用されています。
通常、KG の構築には、ドメインの専門家による多大な労力が必要です。
最近、ラージ言語モデル (LLM) がナレッジ グラフ構築 (KGC) に使用されていますが、既存のアプローチのほとんどはローカルな視点に焦点を当てており、個々の文や文書から知識の三つ組を抽出しています。
この作業では、フリー テキストのゼロショット KGC フレームワークである Graphusion を紹介します。
コア融合モジュールは、エンティティのマージ、競合解決、および新しいトリプレットの発見を組み込んだ、トリプレットのグローバルなビューを提供します。
Graphusion を自然言語処理 (NLP) ドメインにどのように適用できるかを紹介し、教育シナリオでそれを検証します。
具体的には、6 つのタスクと合計 1,200 の QA ペアで構成される、グラフ推論と QA の専門家によって検証された新しいベンチマークである TutorQA を紹介します。
私たちの評価では、Graphusion がリンク予測の精度において教師付きベースラインを最大 10% 上回っていることが実証されています。
さらに、概念実体抽出と関係認識における人による評価では、それぞれ 3 点満点中 2.92 点と 2.37 点の平均スコアを達成しています。

要約(オリジナル)

Knowledge graphs (KGs) are crucial in the field of artificial intelligence and are widely applied in downstream tasks, such as enhancing Question Answering (QA) systems. The construction of KGs typically requires significant effort from domain experts. Recently, Large Language Models (LLMs) have been used for knowledge graph construction (KGC), however, most existing approaches focus on a local perspective, extracting knowledge triplets from individual sentences or documents. In this work, we introduce Graphusion, a zero-shot KGC framework from free text. The core fusion module provides a global view of triplets, incorporating entity merging, conflict resolution, and novel triplet discovery. We showcase how Graphusion could be applied to the natural language processing (NLP) domain and validate it in the educational scenario. Specifically, we introduce TutorQA, a new expert-verified benchmark for graph reasoning and QA, comprising six tasks and a total of 1,200 QA pairs. Our evaluation demonstrates that Graphusion surpasses supervised baselines by up to 10% in accuracy on link prediction. Additionally, it achieves average scores of 2.92 and 2.37 out of 3 in human evaluations for concept entity extraction and relation recognition, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google