A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis

要約

金融センチメント分析は、潜在的なパターンを明らかにし、新たなトレンドを検出する上で重要な役割を果たし、個人が十分な情報に基づいた意思決定を行うことを可能にし、絶えず変化する金融の領域で大きな利点を生み出す可能性があります。
最近、大規模言語モデル (LLM) はさまざまな領域でその有効性を実証し、さまざまな自然言語処理 (NLP) タスクのゼロショットおよび少数ショットのコンテキスト内学習でも顕著な機能を示しています。
それにもかかわらず、金融センチメント分析の文脈におけるその可能性と適用性はまだ十分に検討されていません。
このギャップを埋めるために、私たちは 2 つのアプローチを採用しています。それは、コンテキスト内学習 (gpt-3.5-turbo モデルに重点を置いた) と金融ドメイン データセットでの LLM の微調整です。
大きなパラメータ サイズを持つ LLM の微調整に関連する計算コストを考慮して、微調整用の 250M から 3B パラメータにわたる、より小さな LLM に焦点を当てます。
次に、そのパフォーマンスを最先端の結果と比較して、金融分野での有効性を評価します。
私たちの結果は、微調整されたより小さい LLM は、パラメーターが少なく、トレーニング データセットがより少ないモデルであっても、最先端の微調整された LLM と同等のパフォーマンスを達成できることを示しています。
さらに、LLM のゼロショットおよびワンショットのパフォーマンスは、微調整されたより小さい LLM と最先端の結果と同等の結果を生み出します。
さらに、私たちの分析では、コンテキスト内学習のショット数が増加しても、金融ドメインのセンチメント分析のパフォーマンスの向上は観察されないことが示されています。

要約(オリジナル)

Financial sentiment analysis plays a crucial role in uncovering latent patterns and detecting emerging trends, enabling individuals to make well-informed decisions that may yield substantial advantages within the constantly changing realm of finance. Recently, Large Language Models (LLMs) have demonstrated their effectiveness in diverse domains, showcasing remarkable capabilities even in zero-shot and few-shot in-context learning for various Natural Language Processing (NLP) tasks. Nevertheless, their potential and applicability in the context of financial sentiment analysis have not been thoroughly explored yet. To bridge this gap, we employ two approaches: in-context learning (with a focus on gpt-3.5-turbo model) and fine-tuning LLMs on a finance-domain dataset. Given the computational costs associated with fine-tuning LLMs with large parameter sizes, our focus lies on smaller LLMs, spanning from 250M to 3B parameters for fine-tuning. We then compare the performances with state-of-the-art results to evaluate their effectiveness in the finance-domain. Our results demonstrate that fine-tuned smaller LLMs can achieve comparable performance to state-of-the-art fine-tuned LLMs, even with models having fewer parameters and a smaller training dataset. Additionally, the zero-shot and one-shot performance of LLMs produces comparable results with fine-tuned smaller LLMs and state-of-the-art outcomes. Furthermore, our analysis demonstrates that there is no observed enhancement in performance for finance-domain sentiment analysis when the number of shots for in-context learning is increased.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google