RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL

要約

コンテキスト内学習を備えた大規模言語モデル (LLM) により、テキストから SQL へのタスクのパフォーマンスが大幅に向上しました。
これまでの研究は一般に、LLM の推論能力を向上させるために排他的な SQL 生成プロンプトを使用することに焦点を当てていました。
ただし、多数のテーブルや列を含む大規模なデータベースを処理するのはほとんどが困難であり、通常、データベースの前処理や、より効率的な迅速なエンジニアリングのために貴重な情報を抽出することの重要性は無視されます。
上記の分析に基づいて、我々は、インコンテキストプロンプトエンジニアリングのための新しい検索ベースのLLMフレームワークであるRB-SQLを提案します。これは、簡潔なテーブルと列をスキーマとして取得する3つのモジュールと、インコンテキスト学習の対象となるサンプルから構成されます。
実験結果は、私たちのモデルが公開データセット BIRD および Spider 上のいくつかの競合ベースラインよりも優れたパフォーマンスを達成していることを示しています。

要約(オリジナル)

Large language models (LLMs) with in-context learning have significantly improved the performance of text-to-SQL task. Previous works generally focus on using exclusive SQL generation prompt to improve the LLMs’ reasoning ability. However, they are mostly hard to handle large databases with numerous tables and columns, and usually ignore the significance of pre-processing database and extracting valuable information for more efficient prompt engineering. Based on above analysis, we propose RB-SQL, a novel retrieval-based LLM framework for in-context prompt engineering, which consists of three modules that retrieve concise tables and columns as schema, and targeted examples for in-context learning. Experiment results demonstrate that our model achieves better performance than several competitive baselines on public datasets BIRD and Spider.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google