Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios

要約

最近の Text-to-SQL メソッドは、データベース管理システムからのフィードバックを組み込むことで大規模言語モデル (LLM) を活用します。
これらの方法は SQL クエリの実行エラーに効果的に対処しますが、データベースの不一致、つまり実行例外を引き起こさないエラーには苦労します。
データベースの不一致には、条件の不一致やより厳密な制約の不一致などの問題が含まれており、どちらも現実のシナリオではより一般的です。
これらの課題に対処するために、SQL の検査と改良のためのツール支援エージェント フレームワークを提案します。LLM ベースのエージェントに、データベースの不一致を含む SQL クエリを診断して修正するように設計された取得ツールと検出ツールという 2 つの特殊なツールを装備します。
これらのツールは、現実世界のクエリをより効果的に処理するための LLM の機能を強化します。
また、現実世界のシナリオで遭遇する条件不一致の問題を反映するために特別に構築された新しいデータセットである Spider-Mismatch も紹介します。
実験結果は、私たちの手法が少数ショット設定の Spider データセットと Spider-Realistic データセットの平均結果で最高のパフォーマンスを達成し、より現実的なデータセットである Spider-Mismatch でのベースライン手法を大幅に上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Recent Text-to-SQL methods leverage large language models (LLMs) by incorporating feedback from the database management system. While these methods effectively address execution errors in SQL queries, they struggle with database mismatches — errors that do not trigger execution exceptions. Database mismatches include issues such as condition mismatches and stricter constraint mismatches, both of which are more prevalent in real-world scenarios. To address these challenges, we propose a tool-assisted agent framework for SQL inspection and refinement, equipping the LLM-based agent with two specialized tools: a retriever and a detector, designed to diagnose and correct SQL queries with database mismatches. These tools enhance the capability of LLMs to handle real-world queries more effectively. We also introduce Spider-Mismatch, a new dataset specifically constructed to reflect the condition mismatch problems encountered in real-world scenarios. Experimental results demonstrate that our method achieves the highest performance on the averaged results of the Spider and Spider-Realistic datasets in few-shot settings, and it significantly outperforms baseline methods on the more realistic dataset, Spider-Mismatch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google