NumLLM: Numeric-Sensitive Large Language Model for Chinese Finance

要約

最近、多くの研究が、金融コーパス上でオープンソースの LLM をゼロから事前トレーニングしたり、微調整したりすることによって、さまざまな金融大規模言語モデル (FinLLM) を提案しています。
ただし、既存の FinLLM は、質問に数値変数が含まれる場合、財務テキストを理解する際に満足のいくパフォーマンスを示しません。
この論文では、中国の金融向けに数値センシティブ大言語モデル (NumLLM) と呼ばれる新しい LLM を提案します。
まず、金融教科書から金融コーパスを構築します。これは、微調整中に LLM の数値能力を向上させるために不可欠です。
その後、構築した金融コーパスを微調整することで、2 つの個別の低ランク適応 (LoRA) モジュールをトレーニングします。
1 つのモジュールは汎用 LLM を金融ドメインに適応させるためのもので、もう 1 つのモジュールは数値変数を含む財務テキストを理解する NumLLM の能力を強化するためのものです。
最後に、2 つの LoRA モジュールを基礎モデルにマージして、推論用の NumLLM を取得します。
財務質問応答ベンチマークの実験では、NumLLM が基礎モデルのパフォーマンスを向上させ、数値質問と非数値質問の両方で、すべてのベースラインと比較して最高の全体的なパフォーマンスを達成できることが示されています。

要約(オリジナル)

Recently, many works have proposed various financial large language models (FinLLMs) by pre-training from scratch or fine-tuning open-sourced LLMs on financial corpora. However, existing FinLLMs exhibit unsatisfactory performance in understanding financial text when numeric variables are involved in questions. In this paper, we propose a novel LLM, called numeric-sensitive large language model (NumLLM), for Chinese finance. We first construct a financial corpus from financial textbooks which is essential for improving numeric capability of LLMs during fine-tuning. After that, we train two individual low-rank adaptation (LoRA) modules by fine-tuning on our constructed financial corpus. One module is for adapting general-purpose LLMs to financial domain, and the other module is for enhancing the ability of NumLLM to understand financial text with numeric variables. Lastly, we merge the two LoRA modules into the foundation model to obtain NumLLM for inference. Experiments on financial question-answering benchmark show that NumLLM can boost the performance of the foundation model and can achieve the best overall performance compared to all baselines, on both numeric and non-numeric questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google