BloombergGPT: A Large Language Model for Finance

要約

タイトル：BloombergGPT：金融情報のための大規模言語モデル

要約：

– NLP（自然言語処理）は、感情分析や固有名詞認識から質問回答まで、金融技術分野において幅広く複雑に使用されています。
– 大規模言語モデル（LLM）は、様々なタスクにおいて効果的であることが示されていますが、金融分野に特化したLLMは、これまで文献に報告されていませんでした。
– 本論文では、Bloombergの広範なデータソースに基づく3630億トークンのデータセットに加えて、汎用データセットから3450億トークンを追加した、おそらく最大のドメイン特化データセットである、500億パラメータの言語モデルであるBloombergGPTを提案しています。
– 標準LLMベンチマーク、オープン金融ベンチマーク、および私たちが意図する使用方法を最も正確に反映する一連の内部ベンチマークにおいて、BloombergGPTを検証します。
– ミックスデータセットのトレーニングにより、我々が現在発表されている金融タスクのモデルを大幅に上回る性能を発揮すると同時に、一般的なLLMベンチマークでのパフォーマンスを犠牲にすることなく、タスクに最適なモデルが得られます。
– さらに、モデリングの選択、トレーニングのプロセス、および評価方法を説明します。
– 次のステップとして、BloombergGPTのトレーニングログ（Chronicles）を公開する予定です。

要約(オリジナル)

The use of NLP in the realm of financial technology is broad and complex, with applications ranging from sentiment analysis and named entity recognition to question answering. Large Language Models (LLMs) have been shown to be effective on a variety of tasks; however, no LLM specialized for the financial domain has been reported in literature. In this work, we present BloombergGPT, a 50 billion parameter language model that is trained on a wide range of financial data. We construct a 363 billion token dataset based on Bloomberg’s extensive data sources, perhaps the largest domain-specific dataset yet, augmented with 345 billion tokens from general purpose datasets. We validate BloombergGPT on standard LLM benchmarks, open financial benchmarks, and a suite of internal benchmarks that most accurately reflect our intended usage. Our mixed dataset training leads to a model that outperforms existing models on financial tasks by significant margins without sacrificing performance on general LLM benchmarks. Additionally, we explain our modeling choices, training process, and evaluation methodology. As a next step, we plan to release training logs (Chronicles) detailing our experience in training BloombergGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI