A Study of In-Context-Learning-Based Text-to-SQL Errors

要約

大規模言語モデル (LLM) は、自然言語の質問を構造化照会言語 (SQL) に変換するコンテキスト学習 (ICL) 機能を利用して、テキストから SQL へのタスクを実行するために採用されています。
ただし、このような技術は正確性の問題に直面しており、効率的な修復ソリューションが必要です。
このペーパーでは、テキストから SQL へのエラーに関する初めての包括的な調査を実施します。
私たちの調査では、4 つの代表的な ICL ベースの技術、5 つの基本的な修復方法、2 つのベンチマーク、および 2 つの LLM 設定をカバーしています。
Text-to-SQL エラーは広く普及していることがわかり、7 つのカテゴリの 29 種類のエラーがまとめられています。
また、既存の修復の試みでは、多くの誤修復を伴う高い計算オーバーヘッドを犠牲にして、正確性の向上が限定的であることもわかりました。
この調査結果に基づいて、私たちは、テキストから SQL への新しいエラー検出および修復フレームワークである MapleRepair を提案します。
この評価では、MapleRepair が、無視できるミス修復を含むクエリを 13.8% 多く修復し、オーバーヘッドを 67.4% 削減することで、既存のソリューションよりも優れたパフォーマンスを示していることが示されています。

要約(オリジナル)

Large language models (LLMs) have been adopted to perform text-to-SQL tasks, utilizing their in-context learning (ICL) capability to translate natural language questions into structured query language (SQL). However, such a technique faces correctness problems and requires efficient repairing solutions. In this paper, we conduct the first comprehensive study of text-to-SQL errors. Our study covers four representative ICL-based techniques, five basic repairing methods, two benchmarks, and two LLM settings. We find that text-to-SQL errors are widespread and summarize 29 error types of 7 categories. We also find that existing repairing attempts have limited correctness improvement at the cost of high computational overhead with many mis-repairs. Based on the findings, we propose MapleRepair, a novel text-to-SQL error detection and repairing framework. The evaluation demonstrates that MapleRepair outperforms existing solutions by repairing 13.8% more queries with neglectable mis-repairs and 67.4% less overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google