Towards Evaluating Large Language Models for Graph Query Generation

要約

大規模言語モデル (LLM) は、生成人工知能 (GenAI) の状況に革命をもたらしており、LLM を利用した革新的なソリューションが急速に登場しています。
ただし、データベース テクノロジ、特にグラフ データベースやナレッジ グラフ (KG) のクエリ生成に適用すると、LLM は依然として大きな課題に直面します。
構造化照会言語 (SQL) 用の LLM 駆動の照会生成に関する研究は存在しますが、グラフ データベース用の同様のシステムは未開発のままです。
このペーパーでは、オープンアクセス LLM を使用してグラフ データベースと対話するための強力な言語である Cypher クエリを生成するという課題に対処する比較研究を紹介します。
私たちは、設計された数回の学習プロンプトと思考連鎖に裏付けられた検索拡張生成 (RAG) を使用して、いくつかの LLM エージェント (OpenAI ChatGPT 4o、Claude Sonnet 3.5、Google Gemini Pro 1.5、およびローカルに展開された Llama 3.1 8B) を厳密に評価します。
(CoT) 推論。
クエリ生成の精度を実証的に分析したところ、Claude Sonnet 3.5 はこの特定のドメインにおいて同等の製品よりも優れたパフォーマンスを示しています。
さらに、特定された限界に対処し、グラフ データベース向けの LLM 駆動のクエリ生成を進めるための将来の有望な研究の方向性を強調します。

要約(オリジナル)

Large Language Models (LLMs) are revolutionizing the landscape of Generative Artificial Intelligence (GenAI), with innovative LLM-backed solutions emerging rapidly. However, when applied to database technologies, specifically query generation for graph databases and Knowledge Graphs (KGs), LLMs still face significant challenges. While research on LLM-driven query generation for Structured Query Language (SQL) exists, similar systems for graph databases remain underdeveloped. This paper presents a comparative study addressing the challenge of generating Cypher queries a powerful language for interacting with graph databases using open-access LLMs. We rigorously evaluate several LLM agents (OpenAI ChatGPT 4o, Claude Sonnet 3.5, Google Gemini Pro 1.5, and a locally deployed Llama 3.1 8B) using a designed few-shot learning prompt and Retrieval Augmented Generation (RAG) backed by Chain-of-Thoughts (CoT) reasoning. Our empirical analysis of query generation accuracy reveals that Claude Sonnet 3.5 outperforms its counterparts in this specific domain. Further, we highlight promising future research directions to address the identified limitations and advance LLM-driven query generation for graph databases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google