Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

要約

Financial LLMSは、金融タスクとドメイン固有のアプリケーションを前進させることを約束しています。
ただし、それらは希少なコーパス、弱いマルチモーダル機能、および狭い評価によって制限されているため、実際のアプリケーションにはそれほど適していません。
これに対処するために、\ TextIT {Open-Finllms}を紹介します。これは、テキスト、表形式、時系列、チャートデータ全体で多様なタスクを処理するように設計された最初のオープンソースマルチモーダルファイナンシャルLLMで、ゼロショット、少数のショット、微調整設定で優れています。
このスイートには、包括的な52億トークンコーパスで事前に訓練されたFinllamaが含まれています。
573kの財務指示で微調整されたFinllama-Instruct。
Finllavaは、強力なクロスモーダル推論のために1.43mマルチモーダルチューニングペアで強化されました。
14の金融タスク、30のデータセット、および4つのマルチモーダルタスクでゼロショット、少ないショット、および監視された微調整設定でオープンフィンルムを包括的に評価し、2つの新しいマルチモーダル評価データセットを導入します。
我々の結果は、オープンフィンルムズが、金融NLP、意思決定、マルチモーダルタスク全体でGPT-4などの一般的なLLMを上回り、実際の課題に取り組む可能性を強調することを示しています。
学界と業界全体の革新とコラボレーションを促進するために、すべてのコード（https://anonymous.4open.science/r/pixiu2-0d70/b1d7/license）およびOSi-Approvedライセンスの下でモデルをリリースします。

要約(オリジナル)

Financial LLMs hold promise for advancing financial tasks and domain-specific applications. However, they are limited by scarce corpora, weak multimodal capabilities, and narrow evaluations, making them less suited for real-world application. To address this, we introduce \textit{Open-FinLLMs}, the first open-source multimodal financial LLMs designed to handle diverse tasks across text, tabular, time-series, and chart data, excelling in zero-shot, few-shot, and fine-tuning settings. The suite includes FinLLaMA, pre-trained on a comprehensive 52-billion-token corpus; FinLLaMA-Instruct, fine-tuned with 573K financial instructions; and FinLLaVA, enhanced with 1.43M multimodal tuning pairs for strong cross-modal reasoning. We comprehensively evaluate Open-FinLLMs across 14 financial tasks, 30 datasets, and 4 multimodal tasks in zero-shot, few-shot, and supervised fine-tuning settings, introducing two new multimodal evaluation datasets. Our results show that Open-FinLLMs outperforms afvanced financial and general LLMs such as GPT-4, across financial NLP, decision-making, and multi-modal tasks, highlighting their potential to tackle real-world challenges. To foster innovation and collaboration across academia and industry, we release all codes (https://anonymous.4open.science/r/PIXIU2-0D70/B1D7/LICENSE) and models under OSI-approved licenses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google