ETM: Modern Insights into Perspective on Text-to-SQL Evaluation in the Age of Large Language Models

要約

テキストからSQLのタスクを使用すると、誰でも自然言語を使用してSQLデータベースから情報を取得できます。
このタスクは実質的な進歩を遂げましたが、2つの主要な評価メトリック – 実行精度（EXE）と正確な一致精度（ESM） – は、パフォーマンスを誤って伝えることができる固有の制限に苦しんでいます。
具体的には、ESMの厳格なマッチングは意味的に正しいがスタイリスト的に異なるクエリを見落としていますが、EXEは正しい出力を生成する構造エラーを無視することで正確性を過大評価することができます。
これらの欠点は、微調整なしで大規模な言語モデル（LLM）ベースのアプローチからの出力を評価する場合、特に問題があります。
したがって、新しいメトリック、強化されたツリーマッチング（ETM）を導入します。これは、構文要素とセマンティック要素の両方を使用してクエリを比較することにより、これらの問題を軽減します。
9つのLLMベースのモデルを評価することにより、EXEとESMが23.0％と28.9％の誤検知と負のレートを生成できることを示しますが、ETMはこれらのレートをそれぞれ0.3％と2.7％に減らします。
ETMスクリプトをオープンソースとしてリリースし、テキストからSQLを評価するためのより堅牢で信頼できるアプローチをコミュニティに提供します。

要約(オリジナル)

The task of Text-to-SQL enables anyone to retrieve information from SQL databases using natural language. While this task has made substantial progress, the two primary evaluation metrics — Execution Accuracy (EXE) and Exact Set Matching Accuracy (ESM) — suffer from inherent limitations that can misrepresent performance. Specifically, ESM’s rigid matching overlooks semantically correct but stylistically different queries, whereas EXE can overestimate correctness by ignoring structural errors that yield correct outputs. These shortcomings become especially problematic when assessing outputs from large language model (LLM)-based approaches without fine-tuning, which vary more in style and structure compared to their fine-tuned counterparts. Thus, we introduce a new metric, Enhanced Tree Matching (ETM), which mitigates these issues by comparing queries using both syntactic and semantic elements. Through evaluating nine LLM-based models, we show that EXE and ESM can produce false positive and negative rates as high as 23.0% and 28.9%, while ETM reduces these rates to 0.3% and 2.7%, respectively. We release our ETM script as open source, offering the community a more robust and reliable approach to evaluating Text-to-SQL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google