Beyond Classification: Financial Reasoning in State-of-the-Art Language Models

要約

タイトル：分類を超える：最先端の言語モデルにおける金融推論
要約：
– 1000億以上のパラメータを持つLLM（Large Language Models）は、複雑な多段階推論タスクにおいて驚異的な能力を発揮しています。
– しかしながら、このような汎用的な進歩の応用は、裁判所や医療のようなわずかな分野に制限されており、金融推論の分野はあまり探求されていません。
– 当研究は、LLMsが金融ドメインでの応用可能性について包括的な調査を提示しています。
– 研究には、タスク定式化、合成データ生成、プロンプティング方法、評価能力などの様々な主題を詳しく探索しています。
– さらに、研究では、2.8Bから13Bまでのパラメータスケールを持つ様々なGPTバリアントを、指示チューニングの有無、さまざまなデータセットサイズでベンチマークしています。
– 結果の分析により、6Bのパラメータで金融推論の生成能力が初めて現れ、指示チューニングが良くなるかデータセットが大きくなるにつれて、継続的に改善されることが明らかになりました。
– さらに、研究は、11,802の合成投資テーゼサンプルからなるsFIOG（Synthetic-Financial Investment Opinion Generation）という公開データセットを提供しており、金融推論の分野での更なる研究をサポートしています。

要約(オリジナル)

Large Language Models (LLMs), consisting of 100 billion or more parameters, have demonstrated remarkable ability in complex multi-step reasoning tasks. However, the application of such generic advancements has been limited to a few fields, such as clinical or legal, with the field of financial reasoning remaining largely unexplored. To the best of our knowledge, the ability of LLMs to solve financial reasoning problems has never been dealt with, and whether it can be performed at any scale remains unknown. To address this knowledge gap, this research presents a comprehensive investigation into the potential application of LLMs in the financial domain. The investigation includes a detailed exploration of a range of subjects, including task formulation, synthetic data generation, prompting methods, and evaluation capability. Furthermore, the study benchmarks various GPT variants with parameter scales ranging from 2.8B to 13B, with and without instruction tuning, on diverse dataset sizes. By analyzing the results, we reveal that the ability to generate coherent financial reasoning first emerges at 6B parameters, and continues to improve with better instruction-tuning or larger datasets. Additionally, the study provides a publicly accessible dataset named sFIOG (Synthetic-Financial Investment Opinion Generation), consisting of 11,802 synthetic investment thesis samples, to support further research in the field of financial reasoning. Overall, this research seeks to contribute to the understanding of the efficacy of language models in the field of finance, with a particular emphasis on their ability to engage in sophisticated reasoning and analysis within the context of investment decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI