FinGPT: Democratizing Internet-scale Data for Financial Large Language Models

要約

大規模言語モデル (LLM) は、人間のようなテキストの理解と生成において顕著な熟練度を示しており、これは金融業界に革命をもたらす可能性があります。
しかし、既存の LLM は金融分野では不十分なことが多く、その主な原因は一般的なテキスト データと財務テキスト データ間の差異にあります。
残念ながら、利用できる金融テキスト データセットの数は限られており、最初の金融 LLM (FinLLM) である BloombergGPT はクローズソースです (トレーニング ログのみがリリースされました)。
これを踏まえ、私たちは LLM 向けにインターネット規模の財務データを民主化することを目指していますが、これはデータソースが多様で、信号対雑音比が低く、時間有効性が高いため、未解決の課題です。
この課題に対処するために、私たちはオープンソースのデータ中心フレームワークである Financial Generative Pre-trained Transformer (FinGPT) を導入しました。これは、インターネット上の 34 の多様なソースからのリアルタイムの金融データの収集とキュレーションを自動化し、研究者や研究者に提供します。
FinLLM を開発するためのアクセス可能で透明性の高いリソースを持つ実務者。
さらに、株価による強化学習 (RLSP) と呼ばれる、市場からの固有のフィードバックを使用して FinLLM を微調整するためのシンプルかつ効果的な戦略を提案します。
また、汎用LLMからユーザーが独自のFinLLMを低コストでカスタマイズできるLow-rank Adaptation（LoRA、QLoRA）方式も採用しています。
最後に、ロボアドバイザー、アルゴリズム取引のためのセンチメント分析、ローコード開発など、いくつかの FinGPT アプリケーションを紹介します。
FinGPT は、FinLLM を民主化し、イノベーションを刺激し、オープンファイナンスにおける新たな機会を開拓することを目指しています。
コードはオープンソース化されています。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable proficiency in understanding and generating human-like texts, which may potentially revolutionize the finance industry. However, existing LLMs often fall short in the financial field, which is mainly attributed to the disparities between general text data and financial text data. Unfortunately, there is only a limited number of financial text datasets available, and BloombergGPT, the first financial LLM (FinLLM), is close-sourced (only the training logs were released). In light of this, we aim to democratize Internet-scale financial data for LLMs, which is an open challenge due to diverse data sources, low signal-to-noise ratio, and high time-validity. To address the challenges, we introduce an open-sourced and data-centric framework, Financial Generative Pre-trained Transformer (FinGPT), that automates the collection and curation of real-time financial data from 34 diverse sources on the Internet, providing researchers and practitioners with accessible and transparent resources to develop their FinLLMs. Additionally, we propose a simple yet effective strategy for fine-tuning FinLLM using the inherent feedback from the market, dubbed Reinforcement Learning with Stock Prices (RLSP). We also adopt the Low-rank Adaptation (LoRA, QLoRA) method that enables users to customize their own FinLLMs from general-purpose LLMs at a low cost. Finally, we showcase several FinGPT applications, including robo-advisor, sentiment analysis for algorithmic trading, and low-code development. FinGPT aims to democratize FinLLMs, stimulate innovation, and unlock new opportunities in open finance. The codes have been open-sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google