From human experts to machines: An LLM supported approach to ontology and knowledge graph construction

要約

オントロジーとナレッジ グラフ (KG) を構築する従来のプロセスは、エンティティと関係タイプの定義、階層の確立、ドメインとの関連性の維持、ABox への入力 (またはインスタンスの追加)、およびデータ品質の確保 (データ品質の確保など) を行う人間のドメイン専門家に大きく依存しています。
とりわけ正確さと完全性）。
一方、大規模言語モデル (LLM) は、人間に似た自然言語を理解して生成する能力で最近人気が高まっており、このプロセスのさまざまな側面を自動化する有望な方法を提供します。
この研究では、オープンソース LLM によって促進される KG の (半) 自動構築を調査します。
当社のパイプラインには、コンピテンシー質問 (CQ) の策定、これらの CQ に基づくオントロジー (TBox) の開発、開発されたオントロジーを使用した KG の構築、および人間の専門家の関与を最小限またはまったく行わずに結果として得られる KG の評価が含まれます。
学術出版物を利用して深層学習方法論に関する KG を作成することで、半自動パイプラインの実現可能性を示します。
検索拡張生成 (RAG) によって生成された回答と、LLM を使用して自動的に抽出された KG コンセプトを評価するために、グラウンド トゥルースに基づいて生成されたコンテンツを評価する判定 LLM を設計します。
私たちの調査結果は、自動生成された KG を評価するには人間参加型アプローチが推奨されるものの、LLM を採用することで KG の構築に伴う人的労力を潜在的に削減できる可能性があることを示唆しています。

要約(オリジナル)

The conventional process of building Ontologies and Knowledge Graphs (KGs) heavily relies on human domain experts to define entities and relationship types, establish hierarchies, maintain relevance to the domain, fill the ABox (or populate with instances), and ensure data quality (including amongst others accuracy and completeness). On the other hand, Large Language Models (LLMs) have recently gained popularity for their ability to understand and generate human-like natural language, offering promising ways to automate aspects of this process. This work explores the (semi-)automatic construction of KGs facilitated by open-source LLMs. Our pipeline involves formulating competency questions (CQs), developing an ontology (TBox) based on these CQs, constructing KGs using the developed ontology, and evaluating the resultant KG with minimal to no involvement of human experts. We showcase the feasibility of our semi-automated pipeline by creating a KG on deep learning methodologies by exploiting scholarly publications. To evaluate the answers generated via Retrieval-Augmented-Generation (RAG) as well as the KG concepts automatically extracted using LLMs, we design a judge LLM, which rates the generated content based on ground truth. Our findings suggest that employing LLMs could potentially reduce the human effort involved in the construction of KGs, although a human-in-the-loop approach is recommended to evaluate automatically generated KGs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google