Large Language Model Adaptation for Financial Sentiment Analysis

要約

自然言語処理 (NLP) は、企業や市場の財務書類に非常に貴重な洞察を提供することで、最近金融機関内での関連性を高めています。
ただし、金融分野の状況では、テキストの複雑さと特定の用語の使用により、NLP にとってさらなる課題が生じます。
ジェネラリスト言語モデルは、優れた自然言語理解と生成機能を備えた大規模言語モデル (LLM) を使用する場合でも、財務向けに特別に調整されたタスクでは不十分になる傾向があります。
この論文では、金融領域を対象とし、金融センチメント分析に重点を置いた LLM 適応手法に関する研究を紹介します。
この目的のために、1.5B 未満のパラメータを持つ 2 つの基礎モデルが、幅広い戦略を使用して適応されました。
財務書類と指示の両方を注意深く微調整することで、これらの基礎モデルをターゲット領域に適合させることができることを示します。
さらに、小規模 LLM は大規模モデルと同等のパフォーマンスを持ちながら、パラメーターとデータの点でより効率的であることが観察されています。
モデルに加えて、LLM を介して人工的な命令を生成し、命令データセットのサンプル数を増やす方法を示します。

要約(オリジナル)

Natural language processing (NLP) has recently gained relevance within financial institutions by providing highly valuable insights into companies and markets’ financial documents. However, the landscape of the financial domain presents extra challenges for NLP, due to the complexity of the texts and the use of specific terminology. Generalist language models tend to fall short in tasks specifically tailored for finance, even when using large language models (LLMs) with great natural language understanding and generative capabilities. This paper presents a study on LLM adaptation methods targeted at the financial domain and with high emphasis on financial sentiment analysis. To this purpose, two foundation models with less than 1.5B parameters have been adapted using a wide range of strategies. We show that through careful fine-tuning on both financial documents and instructions, these foundation models can be adapted to the target domain. Moreover, we observe that small LLMs have comparable performance to larger scale models, while being more efficient in terms of parameters and data. In addition to the models, we show how to generate artificial instructions through LLMs to augment the number of samples of the instruction dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google