Exploring Chain-of-Thought Style Prompting for Text-to-SQL

要約

大規模言語モデル (LLM) を使用したインコンテキスト学習は、さまざまなタスクで優れた少数ショット パフォーマンスを発揮するため、最近ますます注目を集めています。
ただし、テキストから SQL への解析のパフォーマンスには、まだ改善の余地があります。
このペーパーでは、テキストから SQL への解析のために改善すべき LLM の重要な側面は、その複数ステップの推論能力であるという仮説を立てています。
したがって、我々は、オリジナルの思考連鎖プロンプティング (Wei et al., 2022b) と最小から最大へのプロンプティング (Zhou et al.
., 2023)。
私たちの実験は、Zhou らのような反復的なプロンプトが有効であることを示しています。
(2023) はテキストから SQL への解析には不要な可能性があり、詳細な推論ステップを使用すると、エラー伝播の問題が発生する傾向があります。
これらの発見に基づいて、テキストから SQL への解析のための新しい CoT スタイルのプロンプト方法を提案します。
推論ステップを含まない標準的なプロンプト方法と比較して、Spider 開発セットと Spider Realistic セットでそれぞれ 5.2 ポイントと 6.5 ポイントの絶対的なゲインが得られます。
最も少ないプロンプトから最も多いプロンプトへの方法と比較して、2.4 ポイントおよび 1.5 ポイントの絶対ゲイン。

要約(オリジナル)

In-context learning with large language models (LLMs) has recently caught increasing attention due to its superior few-shot performance on various tasks. However, its performance on text-to-SQL parsing still has much room for improvement. In this paper, we hypothesize that a crucial aspect of LLMs to improve for text-to-SQL parsing is their multi-step reasoning ability. Thus, we systematically study how to enhance LLMs’ reasoning ability through chain of thought (CoT) style prompting, including the original chain-of-thought prompting (Wei et al., 2022b) and least-to-most prompting (Zhou et al., 2023). Our experiments demonstrate that iterative prompting as in Zhou et al. (2023) may be unnecessary for text-to-SQL parsing, and using detailed reasoning steps tends to have more error propagation issues. Based on these findings, we propose a new CoT-style prompting method for text-to-SQL parsing. It brings 5.2 and 6.5 point absolute gains on the Spider development set and the Spider Realistic set, respectively, compared to the standard prompting method without reasoning steps; 2.4 and 1.5 point absolute gains, compared to the least-to-most prompting method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google