Text2KGBench: A Benchmark for Ontology-Driven Knowledge Graph Generation from Text

要約

最近の大規模言語モデル（LLM）や創発的な機能を持つ基礎モデルの進歩は、多くの自然言語処理タスクのパフォーマンスを向上させることが示されている。LLMと知識グラフ(KG)は、LLMをKGの構築や補完に利用する一方で、既存のKGをLLMの出力を説明可能にしたり、ニューロシンボリックな方法でファクトチェックを行うといった異なるタスクに利用することで、互いを補完することができる。本稿では、オントロジーに導かれた自然言語テキストからKGを生成する言語モデルの能力を評価するベンチマークであるText2KGBenchを紹介する。入力オントロジーと文のセットが与えられたとき、与えられたオントロジー（概念、関係、ドメイン／範囲制約）に準拠し、入力文に忠実でありながら、テキストから事実を抽出することがタスクである。我々は2つのデータセット(i)10のオントロジーと13,474の文を持つWikidata-TekGenと、(ii)19のオントロジーと4,860の文を持つDBpedia-WebNLGを提供する。ファクト抽出性能、オントロジー適合性、LLMによる幻覚を測定する7つの評価指標を定義する。さらに、2つのベースラインモデル、Vicuna-13BとAlpaca-LoRA-13Bについて、テストケースからプロンプトを自動生成した結果を示す。ベースラインの結果は、セマンティックWebと自然言語処理の両方の技術を用いた改善の余地があることを示している。

要約(オリジナル)

The recent advances in large language models (LLM) and foundation models with emergent capabilities have been shown to improve the performance of many NLP tasks. LLMs and Knowledge Graphs (KG) can complement each other such that LLMs can be used for KG construction or completion while existing KGs can be used for different tasks such as making LLM outputs explainable or fact-checking in Neuro-Symbolic manner. In this paper, we present Text2KGBench, a benchmark to evaluate the capabilities of language models to generate KGs from natural language text guided by an ontology. Given an input ontology and a set of sentences, the task is to extract facts from the text while complying with the given ontology (concepts, relations, domain/range constraints) and being faithful to the input sentences. We provide two datasets (i) Wikidata-TekGen with 10 ontologies and 13,474 sentences and (ii) DBpedia-WebNLG with 19 ontologies and 4,860 sentences. We define seven evaluation metrics to measure fact extraction performance, ontology conformance, and hallucinations by LLMs. Furthermore, we provide results for two baseline models, Vicuna-13B and Alpaca-LoRA-13B using automatic prompt generation from test cases. The baseline results show that there is room for improvement using both Semantic Web and Natural Language Processing techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL