Designing Heterogeneous LLM Agents for Financial Sentiment Analysis

要約

大規模言語モデル (LLM) は、インテリジェント システムを設計する可能性のある方法を大幅に変更し、焦点を大量のデータ取得と新しいモデリング トレーニングから、人間の調整と既存の事前トレーニング済みモデルの可能性を最大限に引き出す戦略的な引き出しに移しました。
しかし、このパラダイムシフトは、金融センチメント分析 (FSA) では完全には実現されていません。これは、このタスクの差別的な性質と、そのような状況で生成モデルを活用する方法についての規範的な知識が不足しているためです。
この研究では、新しいパラダイム、つまり FSA の微調整を行わずに LLM を使用することの有効性を調査します。
ミンスキーの心と感情の理論に基づいて、異種 LLM エージェントを使用した設計フレームワークが提案されています。
このフレームワークは、FSA エラーの種類と集約されたエージェントの議論に関する理由に関する事前のドメイン知識を使用して、専門化されたエージェントをインスタンス化します。
FSA データセットの包括的な評価では、特に議論が実質的な場合には、このフレームワークがより高い精度をもたらすことが示されています。
この研究は設計の基礎に貢献し、LLM ベースの FSA の新しい道を切り開きます。
ビジネスや経営への影響についても議論されています。

要約(オリジナル)

Large language models (LLMs) have drastically changed the possible ways to design intelligent systems, shifting the focuses from massive data acquisition and new modeling training to human alignment and strategical elicitation of the full potential of existing pre-trained models. This paradigm shift, however, is not fully realized in financial sentiment analysis (FSA), due to the discriminative nature of this task and a lack of prescriptive knowledge of how to leverage generative models in such a context. This study investigates the effectiveness of the new paradigm, i.e., using LLMs without fine-tuning for FSA. Rooted in Minsky’s theory of mind and emotions, a design framework with heterogeneous LLM agents is proposed. The framework instantiates specialized agents using prior domain knowledge of the types of FSA errors and reasons on the aggregated agent discussions. Comprehensive evaluation on FSA datasets show that the framework yields better accuracies, especially when the discussions are substantial. This study contributes to the design foundations and paves new avenues for LLMs-based FSA. Implications on business and management are also discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google