EllieSQL: Cost-Efficient Text-to-SQL with Complexity-Aware Routing

要約

Text-to-SQLは、自然な言語クエリをSQLに自動的に変換し、非技術的なユーザーが特殊なSQL知識なしにデータベースからデータを取得できるようにします。
リーダーボードでの高度なLLMベースのテキストからSQLへのアプローチの成功にもかかわらず、現在のリーダーボード主導の研究では、持続不可能な計算コスト（しばしば見過ごされがちな）が「部屋の象」となり、現実世界の展開と広範な採用のための経済的実用性を制限しています。
これに取り組むために、推定された複雑さに基づいて適切なSQL生成パイプラインにクエリを割り当てる複雑さを意識したルーティングフレームワークであるElliesQlを探索的に提案します。
複数のルーターを調査して、簡単なクエリを効率的なアプローチに向け、複雑なケースの計算集約的な方法を予約します。
経済学から描画すると、パフォーマンスのトークン弾力性（TEP）メトリックを導入し、SQL生成へのトークン投資と比較してパフォーマンスゲインの応答性を定量化することにより、費用効率をキャプチャします。
実験では、我々の研究で常に最も高度な方法を使用するのと比較して、QWEN2.5-0.5B-DPOルーターを使用したElliesQlは、鳥の発達セットでパフォーマンスを侵害することなくトークンの使用を40％以上削減し、非ルーティングアプローチよりもTEPで2倍以上のブーストを達成することが示されています。
これは、費用効率の高いテキストからSQLの追求を進めるだけでなく、パフォーマンスとともにリソース効率の重量を量るようにコミュニティを招待し、持続可能なテキストからSQLの進歩に貢献します。

要約(オリジナル)

Text-to-SQL automatically translates natural language queries to SQL, allowing non-technical users to retrieve data from databases without specialized SQL knowledge. Despite the success of advanced LLM-based Text-to-SQL approaches on leaderboards, their unsustainable computational costs–often overlooked–stand as the ‘elephant in the room’ in current leaderboard-driven research, limiting their economic practicability for real-world deployment and widespread adoption. To tackle this, we exploratively propose EllieSQL, a complexity-aware routing framework that assigns queries to suitable SQL generation pipelines based on estimated complexity. We investigate multiple routers to direct simple queries to efficient approaches while reserving computationally intensive methods for complex cases. Drawing from economics, we introduce the Token Elasticity of Performance (TEP) metric, capturing cost-efficiency by quantifying the responsiveness of performance gains relative to token investment in SQL generation. Experiments show that compared to always using the most advanced methods in our study, EllieSQL with the Qwen2.5-0.5B-DPO router reduces token use by over 40% without compromising performance on Bird development set, achieving more than a 2x boost in TEP over non-routing approaches. This not only advances the pursuit of cost-efficient Text-to-SQL but also invites the community to weigh resource efficiency alongside performance, contributing to progress in sustainable Text-to-SQL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google