Are ChatGPT and GPT-4 General-Purpose Solvers for Financial Text Analytics? An Examination on Several Typical Tasks

要約

タイトル：ChatGPTとGPT-4は金融テキスト解析の汎用ソルバーとなるか？幾つかの代表的なタスクに対する考察

要約：

– 最近の大規模言語モデル（ChatGPTやGPT-4）は、高品質な応答を生成可能であり、大いに注目されている。
– これまでChatGPTやGPT-4は汎用的なテキストコーパスで広範囲にテストされ、その能力が示されたが、金融コーパスに焦点を当てた研究はまだ行われていない。
– 本研究では、ゼロショットまたはフューショットの状況下で金融テキスト解析の代表的な問題を解決するソルバーとしてのChatGPTとGPT-4の可能性を検討する。
– 具体的には、5つの異なる金融テキストデータセット上の4つの代表的なタスクに対する能力を評価する。
– 初期研究では、ChatGPTとGPT-4は金融固有の知識が必要な名前エンティティ認識（NER）と感情分析などのタスクに苦戦する一方で、数値推論タスクでは優れた能力を示すことが分かった。
– 現在のChatGPTとGPT-4の強みと限界を、最新のファインチューニングされたモデルや事前学習されたドメイン固有の生成モデルと比較し報告する。
– 実験では、定性的な研究を提供し、既存のモデルの能力を理解し、改良を促進するための手掛かりを提供する。

要約(オリジナル)

The most recent large language models such as ChatGPT and GPT-4 have garnered significant attention, as they are capable of generating high-quality responses to human input. Despite the extensive testing of ChatGPT and GPT-4 on generic text corpora, showcasing their impressive capabilities, a study focusing on financial corpora has not been conducted. In this study, we aim to bridge this gap by examining the potential of ChatGPT and GPT-4 as a solver for typical financial text analytic problems in the zero-shot or few-shot setting. Specifically, we assess their capabilities on four representative tasks over five distinct financial textual datasets. The preliminary study shows that ChatGPT and GPT-4 struggle on tasks such as financial named entity recognition (NER) and sentiment analysis, where domain-specific knowledge is required, while they excel in numerical reasoning tasks. We report both the strengths and limitations of the current versions of ChatGPT and GPT-4, comparing them to the state-of-the-art finetuned models as well as pretrained domain-specific generative models. Our experiments provide qualitative studies, through which we hope to help understand the capability of the existing models and facilitate further improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI