Grounding Natural Language to SQL Translation with Data-Based Self-Explanations

要約

データベース用の自然言語インターフェイスを使用すると、技術者以外のユーザーでも自然言語 (NL) を使用してデータを操作できるようになります。
ニューラル シーケンスツーシーケンスまたはより最近の洗練された大規模言語モデルを利用する高度なアプローチでは、通常、NL から SQL (NL2SQL) への変換がエンドツーエンド方式で実装されます。
ただし、人間と同様に、これらのエンドツーエンドの変換モデルは、最初の試行で常に最良の SQL 出力を生成するとは限りません。
この論文では、自己評価を通じて最良の出力を自律的に生成するエンドツーエンドの翻訳モデル用に設計された反復フレームワークである CycleSQL を提案します。
CycleSQL の主なアイデアは、クエリ結果のデータに基づいた NL 説明を自己提供のフィードバックとして導入し、そのフィードバックを使用して翻訳の正しさを反復的に検証することで、全体的な翻訳の精度を向上させることです。
CycleSQL を研究するために、広く使用されている 5 つのベンチマーク上の 7 つの既存の変換モデルに CycleSQL を適用することで、定量的および定性的評価を含む広範な実験が行われます。
結果は、1) CycleSQL に導入されたフィードバック ループは既存モデルのパフォーマンスを一貫して向上させることができ、特に CycleSQL を RESDSQL に適用することにより、検証セットで 82.0% (+2.6%)、および 81.6% の変換精度を獲得したことを示しています。
Spider ベンチマークのテスト セットでは % (+3.2%)。
2) 生成された NL 説明は、ユーザーに洞察に富んだ情報を提供することもでき、翻訳結果の理解を助け、結果として NL2SQL 翻訳の解釈可能性を高めます。

要約(オリジナル)

Natural Language Interfaces for Databases empower non-technical users to interact with data using natural language (NL). Advanced approaches, utilizing either neural sequence-to-sequence or more recent sophisticated large-scale language models, typically implement NL to SQL (NL2SQL) translation in an end-to-end fashion. However, like humans, these end-to-end translation models may not always generate the best SQL output on their first try. In this paper, we propose CycleSQL, an iterative framework designed for end-to-end translation models to autonomously generate the best output through self-evaluation. The main idea of CycleSQL is to introduce data-grounded NL explanations of query results as self-provided feedback, and use the feedback to validate the correctness of the translation iteratively, hence improving the overall translation accuracy. Extensive experiments, including quantitative and qualitative evaluations, are conducted to study CycleSQL by applying it to seven existing translation models on five widely used benchmarks. The results show that 1) the feedback loop introduced in CycleSQL can consistently improve the performance of existing models, and in particular, by applying CycleSQL to RESDSQL, obtains a translation accuracy of 82.0% (+2.6%) on the validation set, and 81.6% (+3.2%) on the test set of Spider benchmark; 2) the generated NL explanations can also provide insightful information for users, aiding in the comprehension of translation results and consequently enhancing the interpretability of NL2SQL translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google