PURPLE: Making a Large Language Model a Better SQL Writer

要約

大規模言語モデル (LLM) 技術は、自然言語から SQL (NL2SQL) への変換においてますます重要な役割を果たしています。
広範なコーパスによってトレーニングされた LLM は、NL2SQL タスクに固有の追加のチューニングを行わなくても、強力な自然言語理解と基本的な SQL 生成能力を備えています。
既存の LLM ベースの NL2SQL アプローチは、ユーザーの意図の理解に重点を置いて LLM を強化することで変換を改善しようとしています。
ただし、LLM は、複雑な論理演算子の構成を整理する知識が不足しているため、適切な SQL を生成できないことがあります。
有望な方法は、さまざまなデータベースからの既知の NL2SQL 変換を含むデモンストレーションを使用して LLM を入力することです。
LLM は、特定のタスクの入力デモンストレーションからオペレーターの構成を整理する方法を学習できます。
このペーパーでは、手持ちの NL2SQL タスクに必要な論理演算子構成を含むデモンストレーションを取得することで精度を向上させる PURPLE (論理拡張のためのプロンプトを取得するために使用される事前トレーニング済みモデル) を提案します。これにより、LLM がより適切な SQL 変換を生成するようにガイドされます。
PURPLE は、人気のある NL2SQL ベンチマーク Spider の検証セットで、80.5% の完全セット一致精度と 87.8% の実行一致精度という新しい最先端のパフォーマンスを達成します。
PURPLE は、さまざまなベンチマーク、予算制約、さまざまな LLM にわたって高い精度を維持し、堅牢性と費用対効果を示します。

要約(オリジナル)

Large Language Model (LLM) techniques play an increasingly important role in Natural Language to SQL (NL2SQL) translation. LLMs trained by extensive corpora have strong natural language understanding and basic SQL generation abilities without additional tuning specific to NL2SQL tasks. Existing LLMs-based NL2SQL approaches try to improve the translation by enhancing the LLMs with an emphasis on user intention understanding. However, LLMs sometimes fail to generate appropriate SQL due to their lack of knowledge in organizing complex logical operator composition. A promising method is to input the LLMs with demonstrations, which include known NL2SQL translations from various databases. LLMs can learn to organize operator compositions from the input demonstrations for the given task. In this paper, we propose PURPLE (Pre-trained models Utilized to Retrieve Prompts for Logical Enhancement), which improves accuracy by retrieving demonstrations containing the requisite logical operator composition for the NL2SQL task on hand, thereby guiding LLMs to produce better SQL translation. PURPLE achieves a new state-of-the-art performance of 80.5% exact-set match accuracy and 87.8% execution match accuracy on the validation set of the popular NL2SQL benchmark Spider. PURPLE maintains high accuracy across diverse benchmarks, budgetary constraints, and various LLMs, showing robustness and cost-effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google