Enhancing Text-to-SQL Capabilities of Large Language Models via Domain Database Knowledge Injection

要約

Text-to-SQL は、大規模言語モデル (LLM) の進化に伴い急速な進歩を遂げたセマンティック解析のサブタスクです。
ただし、LLM は、幻覚の問題と、ドメイン固有のデータベース知識 (テーブル スキーマやセル値など) の欠如による課題に直面しています。
その結果、テーブル名、列の生成、および SQL ステートメント内の正しい列との値の一致においてエラーが発生する可能性があります。
この文書では、事前知識を組み込むことで LLM のスキーマ内容を理解する能力を強化するための知識注入の方法を紹介します。
このアプローチにより、Text-to-SQL タスクのパフォーマンスが向上します。
実験結果は、ドメイン固有のデータベース知識に基づいて LLM を事前トレーニングし、ダウンストリームの Text-to-SQL タスクで LLM を微調整することにより、さまざまなモデルにわたって実行一致 (EX) および完全一致 (EM) メトリクスが大幅に向上することを示しています。
これにより、列名の生成時および値を列に一致させる際のエラーが効果的に減少します。
さらに、知識注入モデルは多くの下流の Text-to-SQL タスクに適用でき、このホワイトペーパーで紹介したアプローチの一般化可能性を示しています。

要約(オリジナル)

Text-to-SQL is a subtask in semantic parsing that has seen rapid progress with the evolution of Large Language Models (LLMs). However, LLMs face challenges due to hallucination issues and a lack of domain-specific database knowledge(such as table schema and cell values). As a result, they can make errors in generating table names, columns, and matching values to the correct columns in SQL statements. This paper introduces a method of knowledge injection to enhance LLMs’ ability to understand schema contents by incorporating prior knowledge. This approach improves their performance in Text-to-SQL tasks. Experimental results show that pre-training LLMs on domain-specific database knowledge and fine-tuning them on downstream Text-to-SQL tasks significantly improves the Execution Match (EX) and Exact Match (EM) metrics across various models. This effectively reduces errors in generating column names and matching values to the columns. Furthermore, the knowledge-injected models can be applied to many downstream Text-to-SQL tasks, demonstrating the generalizability of the approach presented in this paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google