Conversational Text-to-SQL: An Odyssey into State-of-the-Art and Challenges Ahead

要約

会話、マルチターン、テキストから SQL (CoSQL) への変換タスクは、対話内の自然言語の発話を SQL クエリにマッピングします。
最先端の (SOTA) システムは、T5 ファミリーなどの大規模で事前にトレーニングされ微調整された言語モデルを、制約付きデコードと組み合わせて使用​​します。
トレーニング中に個別のプロンプトを使用してコヒーレント タスクをマルチタスク (MT) で処理することにより、特殊なテキストから SQL への T5 ファミリー モデルを改善します。
n-best 仮説に対する Oracle の分析に基づいて、クエリ プラン モデルとスキーマ リンク アルゴリズムをリランカーとして適用します。
MT と再ランキングを組み合わせて、T5-3B を使用した結果は、CoSQL の SOTA ベースラインよりも完全一致で 1.0%、実行一致で 3.4% の絶対精度の向上を示しています。
これらの利点はターン レベルで一貫して現れますが、コンテキスト依存のターンはかなり難しくなります。
ドメインと構成の一般化に起因するエラーを分解するための研究を行っていますが、後者は、特に目に見えない解析ツリーを使用して SQL を生成する際に、マルチターンの会話に対する課題のままです。

要約(オリジナル)

Conversational, multi-turn, text-to-SQL (CoSQL) tasks map natural language utterances in a dialogue to SQL queries. State-of-the-art (SOTA) systems use large, pre-trained and finetuned language models, such as the T5-family, in conjunction with constrained decoding. With multi-tasking (MT) over coherent tasks with discrete prompts during training, we improve over specialized text-to-SQL T5-family models. Based on Oracle analyses over n-best hypotheses, we apply a query plan model and a schema linking algorithm as rerankers. Combining MT and reranking, our results using T5-3B show absolute accuracy improvements of 1.0% in exact match and 3.4% in execution match over a SOTA baseline on CoSQL. While these gains consistently manifest at turn level, context dependent turns are considerably harder. We conduct studies to tease apart errors attributable to domain and compositional generalization, with the latter remaining a challenge for multi-turn conversations, especially in generating SQL with unseen parse trees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google