LLMs Meet Finance: Fine-Tuning Foundation Models for the Open FinLLM Leaderboard

要約

このペーパーでは、大規模な言語モデル（LLM）の財務タスクへの適用を調査します。
Open FinllMリーダーボードをベンチマークとして使用して、基礎モデルを微調整しました。
QWEN2.5とDeepSeek-R1に基づいて、監視施設微調整（SFT）、直接選好最適化（DPO）、補強学習（RL）などの手法を採用して、金融能力を高めました。
微調整されたモデルは、幅広い財務タスクにわたって大幅なパフォーマンスの向上を実証しました。
さらに、金融領域のデータスケーリング法を測定しました。
私たちの仕事は、金融アプリケーションにおける大規模な言語モデル（LLM）の可能性を示しています。

要約(オリジナル)

This paper investigates the application of large language models (LLMs) to financial tasks. We fine-tuned foundation models using the Open FinLLM Leaderboard as a benchmark. Building on Qwen2.5 and Deepseek-R1, we employed techniques including supervised fine-tuning (SFT), direct preference optimization (DPO), and reinforcement learning (RL) to enhance their financial capabilities. The fine-tuned models demonstrated substantial performance gains across a wide range of financial tasks. Moreover, we measured the data scaling law in the financial domain. Our work demonstrates the potential of large language models (LLMs) in financial applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google