A Benchmark to Understand the Role of Knowledge Graphs on Large Language Model’s Accuracy for Question Answering on Enterprise SQL Databases

要約

大規模言語モデル (LLM) のエンタープライズ アプリケーションは、エンタープライズ SQL データベースでの質問応答に有望です。
ただし、企業の設定に合わせた適切な Text-to-SQL ベンチマークがないことを考えると、LLM がそのようなデータベースで企業の質問にどの程度正確に応答できるかは依然として不明です。
さらに、ナレッジ グラフ (KG) がビジネス コンテキストを提供することで LLM ベースの質問応答を強化する可能性については、十分に理解されていません。
この研究の目的は、エンタープライズ質問と SQL データベースのコンテキストで LLM を利用した質問応答システムの精度を評価すると同時に、精度向上におけるナレッジ グラフの役割を調査することです。
これを達成するために、保険ドメインのエンタープライズ SQL スキーマ、メトリクスへのレポートを含む一連のエンタープライズ クエリ、ナレッジ グラフを定義するオントロジーとマッピングを組み込んだコンテキスト レイヤーで構成されるベンチマークを導入します。
私たちの主な調査結果では、SQL データベース上で直接ゼロショット プロンプトを使用する GPT-4 を使用した質問応答が 16% の精度を達成していることが明らかになりました。
特に、エンタープライズ SQL データベースのナレッジ グラフ表現に対して質問をすると、この精度が 54% に増加します。
したがって、Knowledge Graph に投資すると、LLM を利用した質問応答システムの精度が向上します。

要約(オリジナル)

Enterprise applications of Large Language Models (LLMs) hold promise for question answering on enterprise SQL databases. However, the extent to which LLMs can accurately respond to enterprise questions in such databases remains unclear, given the absence of suitable Text-to-SQL benchmarks tailored to enterprise settings. Additionally, the potential of Knowledge Graphs (KGs) to enhance LLM-based question answering by providing business context is not well understood. This study aims to evaluate the accuracy of LLM-powered question answering systems in the context of enterprise questions and SQL databases, while also exploring the role of knowledge graphs in improving accuracy. To achieve this, we introduce a benchmark comprising an enterprise SQL schema in the insurance domain, a range of enterprise queries encompassing reporting to metrics, and a contextual layer incorporating an ontology and mappings that define a knowledge graph. Our primary finding reveals that question answering using GPT-4, with zero-shot prompts directly on SQL databases, achieves an accuracy of 16%. Notably, this accuracy increases to 54% when questions are posed over a Knowledge Graph representation of the enterprise SQL database. Therefore, investing in Knowledge Graph provides higher accuracy for LLM powered question answering systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google