DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction

要約

【タイトル】DIN-SQL：セルフコレクションを使用した文からSQLへの分解されたインコンテキスト学習

【要約】
・複雑な文章からSQLへの変換タスクを小さなサブタスクに分解することが、Large Language Model（LLM）の推論プロセスの性能を大幅に向上させることができるか研究する。
・Spiderのような難しいtext-to-sqlデータセットを使うと、feine-tunedモデルとLLMsの双方の性能に大きな差がある。
・副問題に分解されたSQLクエリの解決策をLLMsにフィードすることで、性能が大幅に向上することを示す。
・三つのLLMsの実験結果から、この手法はLLMsの性能を10％向上させ、精度を状態の最先端に向け、Holdout Spiderデータセットで大規模なFine-Tunedモデルを打ち負かす。

要約(オリジナル)

We study the problem of decomposing a complex text-to-sql task into smaller sub-tasks and how such a decomposition can significantly improve the performance of Large Language Models (LLMs) in the reasoning process. There is currently a significant gap between the performance of fine-tuned models and prompting approaches using LLMs on challenging text-to-sql datasets such as Spider. We show that SQL queries, despite their declarative structure, can be broken down into sub-problems and the solutions of those sub-problems can be fed into LLMs to significantly improve their performance. Our experiments with three LLMs show that this approach consistently improves their performance by roughly 10%, pushing the accuracy of LLMs towards state-of-the-art, and even beating large fine-tuned models on the holdout Spider dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI