Fact Finder — Enhancing Domain Expertise of Large Language Models by Incorporating Knowledge Graphs

要約

大規模言語モデル (LLM) の最近の進歩により、自然言語クエリに応答する能力が実証されました。
しかし、その有効性は分野固有の知識が限られているために妨げられており、応答の信頼性について懸念が生じています。
ドメイン固有のナレッジ グラフ (KG) で LLM を強化するハイブリッド システムを導入し、KG ベースの検索アプローチを使用して事実の正確性を高めることを目指します。
医療 KG に焦点を当てて、(1) 前処理、(2) 暗号クエリ生成、(3) 暗号クエリ処理、(4) KG 取得、および (5) LLM 拡張応答生成を含む方法論を実証します。
69 個のサンプルからなる厳選されたデータセットでシステムを評価し、正しい KG ノードの取得精度 78\% を達成しました。
私たちの調査結果は、LLM-as-a-Judge 評価方法によって検証されたように、ハイブリッド システムが精度と完全性においてスタンドアロン LLM を上回っていることを示しています。
これにより、このシステムは、病気の治療や作物の強化のために生物学的実体を正確に特定する重要なプロセスである標的の同定など、事実の正確さと完全性を要求するアプリケーションにとって有望なツールとして位置付けられます。
さらに、直感的な検索インターフェイスと数秒以内に正確な応答を提供する機能により、時間に敏感で精度を重視する研究状況に最適です。
使用したデータセットおよびプロンプト テンプレートとともにソース コードを公開します。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs) have showcased their proficiency in answering natural language queries. However, their effectiveness is hindered by limited domain-specific knowledge, raising concerns about the reliability of their responses. We introduce a hybrid system that augments LLMs with domain-specific knowledge graphs (KGs), thereby aiming to enhance factual correctness using a KG-based retrieval approach. We focus on a medical KG to demonstrate our methodology, which includes (1) pre-processing, (2) Cypher query generation, (3) Cypher query processing, (4) KG retrieval, and (5) LLM-enhanced response generation. We evaluate our system on a curated dataset of 69 samples, achieving a precision of 78\% in retrieving correct KG nodes. Our findings indicate that the hybrid system surpasses a standalone LLM in accuracy and completeness, as verified by an LLM-as-a-Judge evaluation method. This positions the system as a promising tool for applications that demand factual correctness and completeness, such as target identification — a critical process in pinpointing biological entities for disease treatment or crop enhancement. Moreover, its intuitive search interface and ability to provide accurate responses within seconds make it well-suited for time-sensitive, precision-focused research contexts. We publish the source code together with the dataset and the prompt templates used.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google