DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction

要約

タイトル：DIN-SQL：自己修正を伴う文からSQLへの分解されたコンテキスト学習

要約：

– 複雑な文からSQLへの問題をより小さい部分問題に分解することで、大規模言語モデル（LLM）の推論プロセスの性能が大幅に向上することを研究している。
– 現在、Fine-tunedモデルとLLMを用いた文からSQLへのデータセットの尋問アプローチの性能には大きな差がある。
– SQLクエリは宣言的な構造であるにもかかわらず、分解された問題の解はLLMに供給され、その性能が大幅に向上することが示された。
– 3つのLLM実験により、このアプローチが性能を10％程度向上させることが一貫して示され、LLMの精度が最新技術に近づき、また保留中のSpiderデータセットでも大規模なFine-tunedモデルを超えることができることが示された。

要約(オリジナル)

We study the problem of decomposing a complex text-to-sql task into smaller sub-tasks and how such a decomposition can significantly improve the performance of Large Language Models (LLMs) in the reasoning process. There is currently a significant gap between the performance of fine-tuned models and prompting approaches using LLMs on challenging text-to-sql datasets such as Spider. We show that SQL queries, despite their declarative structure, can be broken down into sub-problems and the solutions of those sub-problems can be fed into LLMs to significantly improve their performance. Our experiments with three LLMs show that this approach consistently improves their performance by roughly 10%, pushing the accuracy of LLMs towards state-of-the-art, and even beating large fine-tuned models on the holdout Spider dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI