Baichuan4-Finance Technical Report

要約

大規模言語モデル (LLM) は、言語の理解、生成、および推論において強力な機能を実証していますが、金融知識の複雑さと専門化のため、金融におけるその可能性は依然として十分に探求されていません。
この研究では、基礎となる Baichuan4-Finance-Base と調整された言語モデル Baichuan4-Finance の包括的なスイートを含む Baichuan4-Finance シリーズの開発について報告します。これらは、Baichuan4-Turbo ベース モデルに基づいて構築され、金融ドメイン向けに調整されています。
まず、私たちはデータ品質を向上させるための詳細なパイプラインの構築に多大な労力を費やしてきました。
さらに、継続的な事前トレーニング段階で、Baichuan4-Finance-Base が一般的な能力を失うことなく金融知識を習得できるようにする、新しいドメイン自己制約トレーニング戦略を提案します。
人間のフィードバックと AI フィードバックによる教師あり微調整と強化学習を経て、チャット モデル Baichuan4-Finance は、さまざまな金融認定の質問や現実世界のシナリオ アプリケーションに取り組むことができます。
私たちは、広く使用されている多くの一般的なデータセットと 2 つの総合的な金融ベンチマークに基づいて Baichuan4-Finance を評価します。
評価結果は、Baichuan4-Finance-Base が、一般的な LLM ベンチマークのパフォーマンスを犠牲にすることなく、財務タスクに関するほぼすべての競合ベースラインを大幅に上回っていることを示しています。
同時に、Baichuan4-Finance は金融アプリケーション シナリオでさらに優れたパフォーマンスを示し、金融 LLM 分野でコミュニティのイノベーションを促進する可能性を示しています。

要約(オリジナル)

Large language models (LLMs) have demonstrated strong capabilities in language understanding, generation, and reasoning, yet their potential in finance remains underexplored due to the complexity and specialization of financial knowledge. In this work, we report the development of the Baichuan4-Finance series, including a comprehensive suite of foundational Baichuan4-Finance-Base and an aligned language model Baichuan4-Finance, which are built upon Baichuan4-Turbo base model and tailored for finance domain. Firstly, we have dedicated significant effort to building a detailed pipeline for improving data quality. Moreover, in the continual pre-training phase, we propose a novel domain self-constraint training strategy, which enables Baichuan4-Finance-Base to acquire financial knowledge without losing general capabilities. After Supervised Fine-tuning and Reinforcement Learning from Human Feedback and AI Feedback, the chat model Baichuan4-Finance is able to tackle various financial certification questions and real-world scenario applications. We evaluate Baichuan4-Finance on many widely used general datasets and two holistic financial benchmarks. The evaluation results show that Baichuan4-Finance-Base surpasses almost all competitive baselines on financial tasks by significant margins without sacrificing performance on general LLM benchmarks. At the same time, Baichuan4-Finance demonstrates even more impressive performance on financial application scenarios, showcasing its potential to foster community innovation in the financial LLM field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google