Adapt and Decompose: Efficient Generalization of Text-to-SQL via Domain Adapted Least-To-Most Prompting

要約

Text-to-SQL セマンティック解析のクロスドメインおよびクロスコンポジションの一般化は、困難な作業です。
既存の大規模言語モデル (LLM) ベースのソリューションは、トレーニング セットからの数ショットのサンプルの推論時の取得に依存して、各自然言語 (NL) テスト クエリの実行時プロンプトを合成します。
対照的に、SQL 句、演算子、関数を完全にカバーし、許可されたトークン長内でドメインを最大限にカバーして、トレーニング データから最小限の数ショットのセットのオフライン サンプリングを実行するアルゴリズムを考案します。
これにより、NL テスト クエリ間で共通する多様なイグザンプラのセットを使用した固定汎用プロンプト (GP) の合成が可能になり、高価なテスト時間のイグザンプラの取得が回避されます。
さらに、クロスドメインの一般化をより適切に処理するために、GP をターゲット データベース ドメイン (DA-GP) に自動適応させます。
次に、構成間の一般化を処理するために、分解された Least-To-Most-Prompting (LTMP-DA-GP) が続きます。
LTMP-DA-GP の合成はオフライン タスクであり、人間の介入を最小限に抑えて新しいデータベースごとに 1 回実行されます。
私たちのアプローチは、Text-to-SQL タスクの汎用性を評価するように設計された KaggleDBQA データセットで優れたパフォーマンスを実証します。
さらに、KaggleDBQA の LLM とデータベースにわたって、GP よりも LTMP-DA-GP の一貫したパフォーマンス向上を示し、プロンプトベースの適応および分解アプローチの有効性とモデルに依存しない利点を強調します。

要約(オリジナル)

Cross-domain and cross-compositional generalization of Text-to-SQL semantic parsing is a challenging task. Existing Large Language Model (LLM) based solutions rely on inference-time retrieval of few-shot exemplars from the training set to synthesize a run-time prompt for each Natural Language (NL) test query. In contrast, we devise an algorithm which performs offline sampling of a minimal set-of few-shots from the training data, with complete coverage of SQL clauses, operators and functions, and maximal domain coverage within the allowed token length. This allows for synthesis of a fixed Generic Prompt (GP), with a diverse set-of exemplars common across NL test queries, avoiding expensive test time exemplar retrieval. We further auto-adapt the GP to the target database domain (DA-GP), to better handle cross-domain generalization; followed by a decomposed Least-To-Most-Prompting (LTMP-DA-GP) to handle cross-compositional generalization. The synthesis of LTMP-DA-GP is an offline task, to be performed one-time per new database with minimal human intervention. Our approach demonstrates superior performance on the KaggleDBQA dataset, designed to evaluate generalizability for the Text-to-SQL task. We further showcase consistent performance improvement of LTMP-DA-GP over GP, across LLMs and databases of KaggleDBQA, highlighting the efficacy and model agnostic benefits of our prompt based adapt and decompose approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google