Leveraging Prior Experience: An Expandable Auxiliary Knowledge Base for Text-to-SQL

要約

大規模言語モデル (LLM) は、多くのタスクにわたって優れた問題解決スキルを発揮しますが、テキストから SQL への変換など、さまざまなダウンストリーム アプリケーションでは依然として人間に比べてパフォーマンスが劣ります。
BIRD ベンチマーク リーダーボードでは、人間のパフォーマンスは 92.96\% の精度を達成していますが、最もパフォーマンスの高い方法は 72.39\% にすぎません。
特に、これらの最先端 (SoTA) メソッドは、主にコンテキスト内学習に依存して人間のような推論をシミュレートします。
しかし、彼らは人間の重要なスキルである継続的な学習を見落としています。
私たちは、形成期に間違いノートを管理する教育実践に触発されて、LPE-SQL (Leveraging Prior Experience: An Expandable Auxiliary Knowledge Base for Text-to-SQL) を提案します。これは、必要とせずに継続的な学習を可能にすることで LLM を強化するように設計された新しいフレームワークです。
パラメータの微調整。
LPE-SQL は、\textbf{i)} が関連するエントリを取得し、\textbf{ii)} が効率的な SQL を生成し、\textbf{iii)} が相互整合性メカニズムを通じて最終結果を生成し、\textbf{iv) を行う 4 つのモジュールで構成されています。
成功したタスクと失敗したタスクを、その推論プロセスやリフレクションによって生成されたヒントとともに記録します。
重要なのは、LPE-SQL のコア モジュールが 4 番目のモジュールであるのに対し、他のモジュールは基本的なメソッドを採用しているため、LPE-SQL を SoTA テクノロジと簡単に統合してパフォーマンスをさらに向上させることができるということです。
私たちの実験結果は、この継続的学習アプローチが大幅なパフォーマンス向上をもたらし、SoTA メソッドを使用した小型の Llama-3.1-70B モデルが大型の Llama-3.1-405B モデルのパフォーマンスを上回ることを示しています。

要約(オリジナル)

Large Language Models (LLMs) exhibit impressive problem-solving skills across many tasks, but they still underperform compared to humans in various downstream applications, such as text-to-SQL. On the BIRD benchmark leaderboard, human performance achieves an accuracy of 92.96\%, whereas the top-performing method reaches only 72.39\%. Notably, these state-of-the-art (SoTA) methods predominantly rely on in-context learning to simulate human-like reasoning. However, they overlook a critical human skill: continual learning. Inspired by the educational practice of maintaining mistake notebooks during our formative years, we propose LPE-SQL (Leveraging Prior Experience: An Expandable Auxiliary Knowledge Base for Text-to-SQL), a novel framework designed to augment LLMs by enabling continual learning without requiring parameter fine-tuning. LPE-SQL consists of four modules that \textbf{i)} retrieve relevant entries, \textbf{ii)} efficient sql generation, \textbf{iii)} generate the final result through a cross-consistency mechanism and \textbf{iv)} log successful and failed tasks along with their reasoning processes or reflection-generated tips. Importantly, the core module of LPE-SQL is the fourth one, while the other modules employ foundational methods, allowing LPE-SQL to be easily integrated with SoTA technologies to further enhance performance. Our experimental results demonstrate that this continual learning approach yields substantial performance gains, with the smaller Llama-3.1-70B model with surpassing the performance of the larger Llama-3.1-405B model using SoTA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google