Understanding the Effects of Noise in Text-to-SQL: An Examination of the BIRD-Bench Benchmark

要約

自然言語を構造化照会言語 (SQL) に変換する Text-to-SQL は、専門知識がなくても構造化データベースに広範にアクセスできるようにするために重要です。
ただし、このようなタスク用のモデルの設計は、あいまいな質問や構文エラーなどの「ノイズ」の存在を含む多くの要因により困難です。
この調査では、広く使用されている BIRD-Bench ベンチマークにおけるノイズの分布と種類、およびモデルに対するノイズの影響についての詳細な分析が提供されます。
BIRD-Bench は、ダーティでノイズの多いデータベース値をモデル化するために作成されましたが、質問やゴールド クエリにノイズやエラーを含めるために作成されたわけではありません。
質問とゴールド クエリのノイズがデータセット内に蔓延しており、その量はドメイン間で異なり、ノイズの種類間で分布が不均一であることがわかりました。
不正なゴールド SQL クエリが存在すると、不正なゴールド応答が生成され、ベンチマークの信頼性に重​​大な影響を与えます。
驚くべきことに、修正された SQL クエリでモデルを評価すると、ゼロショット ベースラインは最先端のプロンプト手法のパフォーマンスを上回りました。
さまざまな種類のノイズを処理できる新しい Text-to-SQL メソッドを開発するには、有益なノイズ ラベルと信頼できるベンチマークが重要であると結論付けています。

要約(オリジナル)

Text-to-SQL, which involves translating natural language into Structured Query Language (SQL), is crucial for enabling broad access to structured databases without expert knowledge. However, designing models for such tasks is challenging due to numerous factors, including the presence of ‘noise,’ such as ambiguous questions and syntactical errors. This study provides an in-depth analysis of the distribution and types of noise in the widely used BIRD-Bench benchmark and the impact of noise on models. While BIRD-Bench was created to model dirty and noisy database values, it was not created to contain noise and errors in the questions and gold queries. We found that noise in questions and gold queries are prevalent in the dataset, with varying amounts across domains, and with an uneven distribution between noise types. The presence of incorrect gold SQL queries, which then generate incorrect gold answers, has a significant impact on the benchmark’s reliability. Surprisingly, when evaluating models on corrected SQL queries, zero-shot baselines surpassed the performance of state-of-the-art prompting methods. We conclude that informative noise labels and reliable benchmarks are crucial to developing new Text-to-SQL methods that can handle varying types of noise.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google