XiYan-SQL: A Multi-Generator Ensemble Framework for Text-to-SQL

要約

自然言語から SQL タスクまでの大規模言語モデルのパフォーマンスの課題に取り組むために、候補生成を改善するためにマルチジェネレーター アンサンブル戦略を採用する革新的なフレームワークである XiYan-SQL を導入します。
データベース構造の理解を深めるために設計された半構造化スキーマ表現方法である M-Schema を紹介します。
生成される候補 SQL クエリの品質と多様性を強化するために、XiYan-SQL は、コンテキスト内学習 (ICL) の大きな可能性と教師あり微調整の正確な制御を統合します。
一方で、モデルを微調整して多様な好みを持つ高品質の候補者を生成するための一連のトレーニング戦略を提案します。
一方、エンティティの過度の強調を防ぐために、固有エンティティ認識に基づくサンプル選択方法を使用して ICL アプローチを実装します。
絞り込み機能は、論理エラーまたは構文エラーを修正することによって各候補を最適化します。
最適な候補を特定するという課題に対処するために、候補となる SQL クエリのニュアンスを区別するために選択モデルを微調整します。
複数の方言データセットに関する実験結果は、さまざまなシナリオにわたる課題に対処する際の XiYan-SQL の堅牢性を示しています。
全体として、私たちが提案する XiYan-SQL は、Spider テスト セットで 89.65%、SQL-Eval で 69.86%、NL2GQL で 41.20%、Bird 開発で 72.23% という最先端の実行精度を達成しています。
ベンチマーク。
提案されたフレームワークは、SQL クエリの品質と多様性を強化するだけでなく、以前の方法よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

To tackle the challenges of large language model performance in natural language to SQL tasks, we introduce XiYan-SQL, an innovative framework that employs a multi-generator ensemble strategy to improve candidate generation. We introduce M-Schema, a semi-structured schema representation method designed to enhance the understanding of database structures. To enhance the quality and diversity of generated candidate SQL queries, XiYan-SQL integrates the significant potential of in-context learning (ICL) with the precise control of supervised fine-tuning. On one hand, we propose a series of training strategies to fine-tune models to generate high-quality candidates with diverse preferences. On the other hand, we implement the ICL approach with an example selection method based on named entity recognition to prevent overemphasis on entities. The refiner optimizes each candidate by correcting logical or syntactical errors. To address the challenge of identifying the best candidate, we fine-tune a selection model to distinguish nuances of candidate SQL queries. The experimental results on multiple dialect datasets demonstrate the robustness of XiYan-SQL in addressing challenges across different scenarios. Overall, our proposed XiYan-SQL achieves the state-of-the-art execution accuracy of 89.65% on the Spider test set, 69.86% on SQL-Eval, 41.20% on NL2GQL, and a competitive score of 72.23% on the Bird development benchmark. The proposed framework not only enhances the quality and diversity of SQL queries but also outperforms previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google