Know What I don’t Know: Handling Ambiguous and Unanswerable Questions for Text-to-SQL

要約

text-to-SQL のタスクは、自然言語の質問を、リレーショナル テーブルのコンテキスト内で対応する SQL クエリに変換することを目的としています。
既存の text-to-SQL パーサーは、任意のユーザーの質問に対して「もっともらしい」SQL クエリを生成するため、問題のあるユーザーの質問を正しく処理できません。
この問題を形式化するために、text-to-SQL で観察されたあいまいで答えられないケースについて予備調査を実施し、それらを 6 つの機能カテゴリにまとめます。
同様に、各カテゴリの背後にある原因を特定し、曖昧で答えられない質問を処理するための要件を提案します。
この研究に続いて、あいまいで回答不能なテキストから SQL への例を自動的に生成する、シンプルかつ効果的な反事実例生成アプローチを提案します。
さらに、エラー検出、位置特定、および説明のための弱教師あり DTE (Detecting-Then-Explaining) モデルを提案します。
実験結果は、さまざまなベースラインと比較して、実際の例と生成された例の両方で、私たちのモデルが最良の結果を達成することを示しています。
データとコードは \href{https://github.com/wbbeyourself/DTE}{https://github.com/wbbeyourself/DTE} でリリースされています。

要約(オリジナル)

The task of text-to-SQL aims to convert a natural language question into its corresponding SQL query within the context of relational tables. Existing text-to-SQL parsers generate a ‘plausible’ SQL query for an arbitrary user question, thereby failing to correctly handle problematic user questions. To formalize this problem, we conduct a preliminary study on the observed ambiguous and unanswerable cases in text-to-SQL and summarize them into 6 feature categories. Correspondingly, we identify the causes behind each category and propose requirements for handling ambiguous and unanswerable questions. Following this study, we propose a simple yet effective counterfactual example generation approach that automatically produces ambiguous and unanswerable text-to-SQL examples. Furthermore, we propose a weakly supervised DTE (Detecting-Then-Explaining) model for error detection, localization, and explanation. Experimental results show that our model achieves the best result on both real-world examples and generated examples compared with various baselines. We release our data and code at: \href{https://github.com/wbbeyourself/DTE}{https://github.com/wbbeyourself/DTE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google