A Case-Based Reasoning Framework for Adaptive Prompting in Cross-Domain Text-to-SQL

要約

タイトル： クロスドメインText-to-SQLの適応型プロンプティングのためのケースベースリーズニングフレームワーク

要約：

– LL（Large Language）モデルの進歩により、Text-to-SQLタスクを含むAIコミュニティに大きな影響を与えました。
– LLMのいくつかの評価と分析は、SQLクエリを生成する可能性を示していますが、単純な構造やランダムなサンプリングなどの不適切なプロンプト設計により、LLMの性能が制限され、不必要または関係のない出力が生成される可能性があることを指摘しています。
– これらの問題に対処するために、私たちはCBR-ApSQLと呼ばれる、Text-to-SQLタスクでのケースに関連する知識とケースに関係のない知識を的確に制御するためのケースベースリーズニング（CBR）ベースのフレームワークを提案します。
– GPT-3.5と組み合わせて、柔軟に入力を調整するための適応型プロンプトを設計しました。これは、(1) 入力質問の意図に合わせて適応的にケースを取得し、そして、(2)プロンプトの情報性、およびケースとプロンプトの関連性を確保するための適応型フォールバックメカニズムが含まれます。
– 3つのクロスドメインデータセットにおいて、SDRE、Poincar\’e detector、TextAlign、Positectorを組み合わせたSDREは、新しいケースの文脈に関する例の注釈を生成します。私たちのフレームワークは、実行正確性に関して、それぞれ3.7％、2.5％、8.2％でSOTAモデルに勝っています。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs), such as Codex, ChatGPT and GPT-4 have significantly impacted the AI community, including Text-to-SQL tasks. Some evaluations and analyses on LLMs show their potential to generate SQL queries but they point out poorly designed prompts (e.g. simplistic construction or random sampling) limit LLMs’ performance and may cause unnecessary or irrelevant outputs. To address these issues, we propose CBR-ApSQL, a Case-Based Reasoning (CBR)-based framework combined with GPT-3.5 for precise control over case-relevant and case-irrelevant knowledge in Text-to-SQL tasks. We design adaptive prompts for flexibly adjusting inputs for GPT-3.5, which involves (1) adaptively retrieving cases according to the question intention by de-semantizing the input question, and (2) an adaptive fallback mechanism to ensure the informativeness of the prompt, as well as the relevance between cases and the prompt. In the de-semanticization phase, we designed Semantic Domain Relevance Evaluator(SDRE), combined with Poincar\’e detector(mining implicit semantics in hyperbolic space), TextAlign(discovering explicit matches), and Positector (part-of-speech detector). SDRE semantically and syntactically generates in-context exemplar annotations for the new case. On the three cross-domain datasets, our framework outperforms the state-of-the-art(SOTA) model in execution accuracy by 3.7\%, 2.5\%, and 8.2\%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI