FinSQL: Model-Agnostic LLMs-based Text-to-SQL Framework for Financial Analysis

要約

Text-to-SQL は、リレーショナル データベースを操作するためのゼロコード インターフェイスを提供し、財務分析で大きな注目を集めています。
なぜなら、金融専門家は SQL プログラミングのスキルを十分に備えていない可能性があるからです。
しかし、これまでのところ、財務分析用の実用的な Text-to-SQL ベンチマーク データセットはなく、既存の Text-to-SQL 手法では、一般的に存在する幅の広いテーブルなど、金融アプリケーションにおけるデータベースの固有の特性が考慮されていませんでした。
これらの問題に対処するために、私たちは実用的な Text-to-SQL ベンチマーク データセットを収集し、モデルに依存しない大規模言語モデル (LLM) ベースの財務分析用の Text-to-SQL フレームワークを提案します。
ベンチマーク データセット BULL は、ファンド、株式、マクロ経済のデータベースを含む、Hundsun Technologies Inc. の実践的な財務分析事業から収集されています。
さらに、提案されている LLM ベースの Text-to-SQL フレームワークである FinSQL は、迅速な構築、パラメータ効率の高い微調整、および出力調整の観点から金融 Text-to-SQL の体系的な処理を提供します。
BULL に関する広範な実験結果は、FinSQL が低コストで最先端の Text-to-SQL パフォーマンスを達成することを実証しています。
さらに、FinSQL は、数回のデータベース間モデル転送を必要とするシナリオで最大 36.64% のパフォーマンス向上をもたらします。

要約(オリジナル)

Text-to-SQL, which provides zero-code interface for operating relational databases, has gained much attention in financial analysis; because, financial professionals may not well-skilled in SQL programming. However, until now, there is no practical Text-to-SQL benchmark dataset for financial analysis, and existing Text-to-SQL methods have not considered the unique characteristics of databases in financial applications, such as commonly existing wide tables. To address these issues, we collect a practical Text-to-SQL benchmark dataset and propose a model-agnostic Large Language Model (LLMs)-based Text-to-SQL framework for financial analysis. The benchmark dataset, BULL, is collected from the practical financial analysis business of Hundsun Technologies Inc., including databases for fund, stock, and macro economy. Besides, the proposed LLMs-based Text-to-SQL framework, FinSQL, provides a systematic treatment for financial Text-to-SQL from the perspectives of prompt construction, parameter-efficient fine-tuning and output calibration. Extensive experimental results on BULL demonstrate that FinSQL achieves the state-of-the-art Text-to-SQL performance at a small cost; furthermore, FinSQL can bring up to 36.64% performance improvement in scenarios requiring few-shot cross-database model transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google