Pre-trained Large Language Models for Financial Sentiment Analysis

要約

財務センチメント分析とは、財務テキストの内容をセンチメント カテゴリ (ポジティブ、ネガティブ、中立など) に分類することを指します。
この論文では、大量のトレーニング サンプルが不足しているために困難なタスクである金融ニュースのタイトルの分類に焦点を当てます。
この困難を克服するために、事前トレーニングされた大規模言語モデル (LLM) [1、2、3] を適応させてこの問題を解決することを提案します。
膨大な量のテキスト コーパスからトレーニングされた LLM は、テキスト理解に優れており、トレーニング サンプルの量をほとんど必要とせずに、ドメイン固有のタスクに効果的に適応できます。
特に、オープンソースの Llama2-7B モデル (2023) を教師あり微調整 (SFT) 手法 [4] に適応させます。
実験による評価では、7B モデル (LLM としては比較的小さい) を使用した場合でも、私たちのアプローチが以前の最先端のアルゴリズムを大幅に上回っていることが示されています。

要約(オリジナル)

Financial sentiment analysis refers to classifying financial text contents into sentiment categories (e.g. positive, negative, and neutral). In this paper, we focus on the classification of financial news title, which is a challenging task due to a lack of large amount of training samples. To overcome this difficulty, we propose to adapt the pretrained large language models (LLMs) [1, 2, 3] to solve this problem. The LLMs, which are trained from huge amount of text corpora,have an advantage in text understanding and can be effectively adapted to domain-specific task while requiring very few amount of training samples. In particular, we adapt the open-source Llama2-7B model (2023) with the supervised fine-tuning (SFT) technique [4]. Experimental evaluation shows that even with the 7B model (which is relatively small for LLMs), our approach significantly outperforms the previous state-of-the-art algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google