How to Prompt LLMs for Text-to-SQL: A Study in Zero-shot, Single-domain, and Cross-domain Settings

要約

コンテキスト内学習を備えた大規模言語モデル (LLM) は、テキストから SQL へのタスクにおいて優れた機能を実証しています。
これまでの研究により、LLM のパフォーマンスを向上させるために、さまざまな実証検索戦略と中間推論ステップが LLM に使用されるようになりました。
ただし、これらの作品では、データベースやデモンストレーションの例など、テキストから SQL への入力用のプロンプト テキストを構築する際に、さまざまな戦略が採用されることがよくあります。
これにより、プロンプト構築とその主要な貢献の両方において比較可能性が欠如します。
さらに、効果的な即時建設の選択は、将来の研究にとって永続的な問題として浮上しています。
この制限に対処するために、私たちはさまざまな設定における即時建設の影響を包括的に調査し、将来の作業のための洞察を提供します。

要約(オリジナル)

Large language models (LLMs) with in-context learning have demonstrated remarkable capability in the text-to-SQL task. Previous research has prompted LLMs with various demonstration-retrieval strategies and intermediate reasoning steps to enhance the performance of LLMs. However, those works often employ varied strategies when constructing the prompt text for text-to-SQL inputs, such as databases and demonstration examples. This leads to a lack of comparability in both the prompt constructions and their primary contributions. Furthermore, selecting an effective prompt construction has emerged as a persistent problem for future research. To address this limitation, we comprehensively investigate the impact of prompt constructions across various settings and provide insights for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google