Using LLM to select the right SQL Query from candidates

要約

Text-to-SQLモデルはSQLクエリの候補リストを生成することができ、最適なクエリは候補リストの中にあることが多いのですが、リストの先頭にはありません。効果的な再ランク付け方法は、候補リストから正しいSQLクエリを選択し、モデルの性能を向上させることができる。コード生成に関する先行研究では、テストケースを自動的に生成し、それを使って候補コードの再ランク付けを行っている。しかし、text-to-SQLに対するテストケースの自動生成は、あまり研究されていない分野である。我々は、まずデータベースを生成し、次にLLMを用いてグランドトゥルースを予測する自動テストケース生成法を提案する。LLMの予測難易度を下げるため、LLMが利用しやすいデータベースの生成方法や、わかりやすいプロンプトの設計方法を模索する実験を行う。テストケースの生成方法に基づいて、候補リストから正しいSQLクエリを選択するための再ランク法を提案する。候補リストが与えられた場合、本手法はテストケースを生成し、そのテストケースの合格番号と生成確率に従って候補リストを再ランク付けすることができる。Spiderの検証データセットでの実験結果は、我々の再ランク手法を適用した後、いくつかの最新モデルの性能が3.6%向上することを示している。

要約(オリジナル)

Text-to-SQL models can generate a list of candidate SQL queries, and the best query is often in the candidate list, but not at the top of the list. An effective re-rank method can select the right SQL query from the candidate list and improve the model’s performance. Previous studies on code generation automatically generate test cases and use them to re-rank candidate codes. However, automatic test case generation for text-to-SQL is an understudied field. We propose an automatic test case generation method that first generates a database and then uses LLMs to predict the ground truth, which is the expected execution results of the ground truth SQL query on this database. To reduce the difficulty for LLMs to predict, we conduct experiments to search for ways to generate easy databases for LLMs and design easy-to-understand prompts. Based on our test case generation method, we propose a re-rank method to select the right SQL query from the candidate list. Given a candidate list, our method can generate test cases and re-rank the candidate list according to their pass numbers on these test cases and their generation probabilities. The experiment results on the validation dataset of Spider show that the performance of some state-of-the-art models can get a 3.6\% improvement after applying our re-rank method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL