Synthetic SQL Column Descriptions and Their Impact on Text-to-SQL Performance

要約

リレーショナル データベースは、あいまいな列や解釈が難しい値など、テーブルの内容に関する有益でない記述子に悩まされることが多く、人間のユーザーと Text-to-SQL モデルの両方に影響を与えます。
このペーパーでは、テキストから SQL へのパフォーマンスを向上させ、メタデータ作成を自動化することを目的として、SQL データベース列の詳細な自然言語記述を自動的に生成する大規模言語モデル (LLM) の使用について検討します。
BIRD-Bench ベンチマークに基づいてゴールド カラム説明のデータセットを作成し、そのカラム説明を手動で調整し、カラムの難易度を分類するための分類を作成します。
次に、列全体の列説明とデータセット内のさまざまな困難を生成する際に、いくつかの異なる LLM を評価しました。その結果、当然のことながら、モデルが固有の曖昧さを示す列に苦戦していることがわかり、専門家による手動入力の必要性が強調されました。
また、このように生成された列の説明を組み込むと、特に GPT-4o、Qwen2 72B、Mixtral 22Bx8 のような大規模なモデルの場合、text-to-SQL モデルのパフォーマンスが一貫して向上することもわかりました。
特に、Qwen2 が生成した説明には、アノテーターによって不要とみなされた情報が含まれており、手動で精選されたゴールドの説明よりも優れており、人間が期待するよりも詳細なメタデータからモデルが恩恵を受けていることが示唆されています。
今後の研究では、これらの高パフォーマンスの記述の特定の機能を調査し、数値推論や同義語などの他のタイプのメタデータを調査して、text-to-SQL システムをさらに改善する予定です。
データセット、アノテーション、コードはすべて利用可能になります。

要約(オリジナル)

Relational databases often suffer from uninformative descriptors of table contents, such as ambiguous columns and hard-to-interpret values, impacting both human users and text-to-SQL models. In this paper, we explore the use of large language models (LLMs) to automatically generate detailed natural language descriptions for SQL database columns, aiming to improve text-to-SQL performance and automate metadata creation. We create a dataset of gold column descriptions based on the BIRD-Bench benchmark, manually refining its column descriptions and creating a taxonomy for categorizing column difficulty. We then evaluate several different LLMs in generating column descriptions across the columns and different difficulties in the dataset, finding that models unsurprisingly struggle with columns that exhibit inherent ambiguity, highlighting the need for manual expert input. We also find that incorporating such generated column descriptions consistently enhances text-to-SQL model performance, particularly for larger models like GPT-4o, Qwen2 72B and Mixtral 22Bx8. Notably, Qwen2-generated descriptions, containing by annotators deemed superfluous information, outperform manually curated gold descriptions, suggesting that models benefit from more detailed metadata than humans expect. Future work will investigate the specific features of these high-performing descriptions and explore other types of metadata, such as numerical reasoning and synonyms, to further improve text-to-SQL systems. The dataset, annotations and code will all be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google