SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended)

要約

Text-to-SQL は、自然言語を SQL (Structured Query Language) に変換するプロセスであり、大規模言語モデル (LLM) の革新的なアプリケーションであり、人間がデータを操作する方法に革命を起こす可能性があります。
このペーパーでは、LLM を使用して Text-to-SQL を理解および強化するための包括的なソリューションである SQL-PaLM フレームワークを紹介します。これは、少数ショット プロンプトと命令の微調整の学習体制で使用されます。
少数ショット プロンプトを使用して、実行ベースのエラー フィルタリングによる一貫性デコードの有効性を調査します。
命令の微調整により、調整された LLM のパフォーマンスに影響を与える重要なパラダイムを深く理解します。
特に、トレーニング データの範囲と多様性の拡大、合成データの拡張、クエリ固有のデータベース コンテンツの統合を通じてパフォーマンスをどのように向上できるかを調査します。
複数のパラダイムからの SQL 出力をガイダンスとして実行フィードバックと統合することで、精度をさらに向上させるテスト時選択方法を提案します。
さらに、多数のテーブルと列を含む複雑なデータベースをナビゲートするという実際的な課題に取り組み、関連するデータベース要素を正確に選択して Text-to-SQL のパフォーマンスを向上させる効率的な手法を提案します。
2 つの主要な公開ベンチマークである Spider と BIRD で実証されているように、当社の総合的なアプローチは Text-to-SQL に大幅な進歩をもたらします。
包括的なアブレーションとエラー分析を通じて、フレームワークの長所と短所を明らかにし、Text-to-SQL の将来の取り組みについて貴重な洞察を提供します。

要約(オリジナル)

Text-to-SQL, the process of translating natural language into Structured Query Language (SQL), represents a transformative application of large language models (LLMs), potentially revolutionizing how humans interact with data. This paper introduces the SQL-PaLM framework, a comprehensive solution for understanding and enhancing Text-to-SQL using LLMs, using in the learning regimes of few-shot prompting and instruction fine-tuning. With few-shot prompting, we explore the effectiveness of consistency decoding with execution-based error filtering. With instruction fine-tuning, we delve deep in understanding the critical paradigms that influence the performance of tuned LLMs. In particular, we investigate how performance can be improved through expanded training data coverage and diversity, synthetic data augmentation, and integrating query-specific database content. We propose a test-time selection method to further refine accuracy by integrating SQL outputs from multiple paradigms with execution feedback as guidance. Additionally, we tackle the practical challenge of navigating intricate databases with a significant number of tables and columns, proposing efficient techniques for accurately selecting relevant database elements to enhance Text-to-SQL performance. Our holistic approach yields substantial advancements in Text-to-SQL, as demonstrated on two key public benchmarks, Spider and BIRD. Through comprehensive ablations and error analyses, we shed light on the strengths and weaknesses of our framework, offering valuable insights into Text-to-SQL’s future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google