CFGPT: Chinese Financial Assistant with Large Language Model

要約

大規模言語モデル (LLM) は、金融ドメイン内の自然言語処理タスクにおいて大きな可能性を示しています。
この研究では、CFGPT という名前の中国の金融生成事前トレーニング済みトランスフォーマー フレームワークを紹介します。これには、事前トレーニングと教師付き微調整のためのデータセット~(CFData)、金融テキストを適切に管理するための金融 LLM~(CFLLM) が含まれています。
そして、現実世界の金融アプリケーションを操作するために設計された展開フレームワーク~(CFAPP)。
CFData は、事前トレーニング データセットと教師付き微調整データセットの両方で構成されます。事前トレーニング データセットは、合計 5 億 8,400 万のドキュメントと 141 億のトークンを含む汎用テキストのより小さなサブセットとともに、中国の金融データと分析を照合します。
教師あり微調整データセットは 6 つの異なる財務タスクに合わせて調整されており、合計 150 万の命令ペアと 15 億のトークンを使用して財務分析と意思決定のさまざまな側面を具体化しています。
CFLLM は、モデルの機能とサイズのバランスをとるために InternLM-7B に基づいており、継続的な事前トレーニングと監視付き微調整の 2 段階で CFData でトレーニングされます。
CFAPP は大規模言語モデル (LLM) を中心としており、実際のアプリケーションで多面的な機能を確保するために追加のモジュールで強化されています。
私たちのコードは https://github.com/TongjiFinLab/CFGPT でリリースされています。

要約(オリジナル)

Large language models (LLMs) have demonstrated great potential in natural language processing tasks within the financial domain. In this work, we present a Chinese Financial Generative Pre-trained Transformer framework, named CFGPT, which includes a dataset~(CFData) for pre-training and supervised fine-tuning, a financial LLM~(CFLLM) to adeptly manage financial texts, and a deployment framework~(CFAPP) designed to navigate real-world financial applications. The CFData comprising both a pre-training dataset and a supervised fine-tuning dataset, where the pre-training dataset collates Chinese financial data and analytics, alongside a smaller subset of general-purpose text with 584M documents and 141B tokens in total, and the supervised fine-tuning dataset is tailored for six distinct financial tasks, embodying various facets of financial analysis and decision-making with 1.5M instruction pairs and 1.5B tokens in total. The CFLLM, which is based on InternLM-7B to balance the model capability and size, is trained on CFData in two stage, continued pre-training and supervised fine-tuning. The CFAPP is centered on large language models (LLMs) and augmented with additional modules to ensure multifaceted functionality in real-world application. Our codes are released at https://github.com/TongjiFinLab/CFGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google