Improving Retrieval-augmented Text-to-SQL with AST-based Ranking and Schema Pruning

要約

大規模言語モデルの観点からText-to-SQLセマンティック構文解析に焦点を当てる。商用データベーススキーマのサイズとビジネスインテリジェンスソリューションの展開可能性に関連する課題に動機付けられ、入力データベース情報を動的に取得し、抽象構文木を使用して、コンテキスト内学習のために少数の例を選択するアプローチを提案する。 さらに、検索をサポートするために、期待されるSQLクエリの$textit{approximated}$バージョンを生成するために、並列セマンティック構文解析器を活用できる範囲を調査する。我々はこのアプローチを極限まで追求する。500$M以下のパラメータで構成されるモデルを、並列化された方法でスキーマを処理する能力で強化し、非常に効率的な近似器として機能するように適応させる。本アプローチを意味解析のための単言語及び異言語ベンチマークに適用し、最先端のベースラインに対する改善を示す。包括的な実験により、この検索補強型生成設定に関与するモジュールの貢献度を明らかにし、今後の研究の興味深い方向性を明らかにする。

要約(オリジナル)

We focus on Text-to-SQL semantic parsing from the perspective of Large Language Models. Motivated by challenges related to the size of commercial database schemata and the deployability of business intelligence solutions, we propose an approach that dynamically retrieves input database information and uses abstract syntax trees to select few-shot examples for in-context learning. Furthermore, we investigate the extent to which an in-parallel semantic parser can be leveraged for generating $\textit{approximated}$ versions of the expected SQL queries, to support our retrieval. We take this approach to the extreme–we adapt a model consisting of less than $500$M parameters, to act as an extremely efficient approximator, enhancing it with the ability to process schemata in a parallelised manner. We apply our approach to monolingual and cross-lingual benchmarks for semantic parsing, showing improvements over state-of-the-art baselines. Comprehensive experiments highlight the contribution of modules involved in this retrieval-augmented generation setting, revealing interesting directions for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL