BloombergGPT: A Large Language Model for Finance

要約

金融テクノロジーの分野における NLP の使用は広範囲かつ複雑で、その応用範囲は感情分析や固有表現認識から質問応答にまで及びます。
大規模言語モデル (LLM) は、さまざまなタスクに効果的であることが示されています。
ただし、金融領域に特化した LLM は文献で報告されていません。
この研究では、幅広い金融データでトレーニングされた 500 億パラメータの言語モデルである BloombergGPT を紹介します。
私たちは、ブルームバーグの広範なデータ ソースに基づいて 3,630 億のトークン データセットを構築します。これはおそらくこれまでで最大のドメイン固有のデータセットであり、汎用データセットからの 3,450 億のトークンで強化されています。
当社は、標準的な LLM ベンチマーク、オープンな金融ベンチマーク、および当社の意図する使用法を最も正確に反映する一連の内部ベンチマークで BloombergGPT を検証します。
混合データセットのトレーニングにより、一般的な LLM ベンチマークのパフォーマンスを犠牲にすることなく、財務タスクに関して既存のモデルを大幅に上回るパフォーマンスを発揮するモデルが得られます。
さらに、モデリングの選択、トレーニング プロセス、評価方法についても説明します。
BloombergGPT のトレーニング経験を詳しく説明したトレーニング記録 (付録 C) をリリースします。

要約(オリジナル)

The use of NLP in the realm of financial technology is broad and complex, with applications ranging from sentiment analysis and named entity recognition to question answering. Large Language Models (LLMs) have been shown to be effective on a variety of tasks; however, no LLM specialized for the financial domain has been reported in literature. In this work, we present BloombergGPT, a 50 billion parameter language model that is trained on a wide range of financial data. We construct a 363 billion token dataset based on Bloomberg’s extensive data sources, perhaps the largest domain-specific dataset yet, augmented with 345 billion tokens from general purpose datasets. We validate BloombergGPT on standard LLM benchmarks, open financial benchmarks, and a suite of internal benchmarks that most accurately reflect our intended usage. Our mixed dataset training leads to a model that outperforms existing models on financial tasks by significant margins without sacrificing performance on general LLM benchmarks. Additionally, we explain our modeling choices, training process, and evaluation methodology. We release Training Chronicles (Appendix C) detailing our experience in training BloombergGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google