FinLLMs: A Framework for Financial Reasoning Dataset Generation with Large Language Models

要約

大規模言語モデル (LLM) は通常、広範なトレーニング データセットに依存します。
金融ドメインでは、表と長いテキストが混在する数値推論データセットを作成する場合、多くの場合、手作業での注釈付けに多額の費用がかかります。
限られたデータ リソースに対処し、アノテーション コストを削減するために、大規模言語モデルを使用して一般的な財務計算式に基づいて財務質問応答データを生成する方法である FinLLM を導入します。
まず、一般的な財務計算式のリストを作成し、これらの計算式で使用される変数に基づいてグラフを作成します。
次に、同じ変数を共有する式セットを新しい要素として組み合わせて、式セットを拡張します。
具体的には、手動アノテーションによって取得された式を調査し、構築されたグラフをトラバースすることによってそれらの式を共有変数とマージします。
最後に、GPT-3.5 を利用して、収集した数式セットに基づいて、表形式の情報と長いテキスト コンテンツの両方を含む財務質問回答データを生成します。
私たちの実験は、FinLLM によって生成された合成データが、金融分野におけるいくつかの大規模な数値推論モデルのパフォーマンスを効果的に強化し、確立された 2 つのベンチマーク金融質問応答データセットを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Large Language models (LLMs) usually rely on extensive training datasets. In the financial domain, creating numerical reasoning datasets that include a mix of tables and long text often involves substantial manual annotation expenses. To address the limited data resources and reduce the annotation cost, we introduce FinLLMs, a method for generating financial question-answering data based on common financial formulas using Large Language Models. First, we compile a list of common financial formulas and construct a graph based on the variables these formulas employ. We then augment the formula set by combining those that share identical variables as new elements. Specifically, we explore formulas obtained by manual annotation and merge those formulas with shared variables by traversing the constructed graph. Finally, utilizing GPT-3.5, we generate financial question-answering data that encompasses both tabular information and long textual content, building on the collected formula set. Our experiments demonstrate that synthetic data generated by FinLLMs effectively enhances the performance of several large-scale numerical reasoning models in the financial domain, outperforming two established benchmark financial question-answering datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google