ROUTE: Robust Multitask Tuning and Collaboration for Text-to-SQL

要約

大規模言語モデル (LLM) によって促進された Text-to-SQL (Text2SQL) の大幅な進歩にも関わらず、最新の最先端技術は依然としてクローズドソース LLM (GPT など) のインコンテキスト学習に囚われています。
-4)、オープン シナリオでの適用性が制限されます。
この課題に対処するために、Text2SQL 用のオープンソース LLM の包括的な機能を向上させ、より実用的なソリューションを提供する新しい RObust mUltitask チューニングおよびコラボレーション メソッド (ROUTE) を提案します。
私たちのアプローチは、SQL 生成に関連するさまざまな合成トレーニング データを使用したマルチタスク教師あり微調整 (SFT) から始まります。
既存の SFT ベースの Text2SQL メソッドとは異なり、スキーマ リンク、ノイズ修正、継続書き込みなど、いくつかの追加の SFT タスクが導入されました。
さまざまな SQL 生成タスクに取り組むことで、モデルの SQL 構文の理解が深まり、高品質の SQL クエリを生成する能力が向上します。
さらに、LLM エージェントの協調モードからインスピレーションを得て、マルチタスク コラボレーション プロンプティング (MCP) 戦略を導入します。
この戦略では、複数の SQL 関連タスクにわたるコラボレーションを活用して SQL 生成中の幻覚を軽減し、明示的なマルチタスク機能を通じて Text2SQL のパフォーマンスを向上させる可能性を最大限に高めます。
8 つのオープンソース LLM と 5 つの広く使用されているベンチマークに対して、広範な実験と詳細な分析が実行されました。
結果は、私たちの提案が最新の Text2SQL メソッドよりも優れており、優れたパフォーマンスをもたらしていることを示しています。

要約(オリジナル)

Despite the significant advancements in Text-to-SQL (Text2SQL) facilitated by large language models (LLMs), the latest state-of-the-art techniques are still trapped in the in-context learning of closed-source LLMs (e.g., GPT-4), which limits their applicability in open scenarios. To address this challenge, we propose a novel RObust mUltitask Tuning and collaboration mEthod (ROUTE) to improve the comprehensive capabilities of open-source LLMs for Text2SQL, thereby providing a more practical solution. Our approach begins with multi-task supervised fine-tuning (SFT) using various synthetic training data related to SQL generation. Unlike existing SFT-based Text2SQL methods, we introduced several additional SFT tasks, including schema linking, noise correction, and continuation writing. Engaging in a variety of SQL generation tasks enhances the model’s understanding of SQL syntax and improves its ability to generate high-quality SQL queries. Additionally, inspired by the collaborative modes of LLM agents, we introduce a Multitask Collaboration Prompting (MCP) strategy. This strategy leverages collaboration across several SQL-related tasks to reduce hallucinations during SQL generation, thereby maximizing the potential of enhancing Text2SQL performance through explicit multitask capabilities. Extensive experiments and in-depth analyses have been performed on eight open-source LLMs and five widely-used benchmarks. The results demonstrate that our proposal outperforms the latest Text2SQL methods and yields leading performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google