Fine-Tuning Large Language Models for Stock Return Prediction Using Newsflow

要約

大規模言語モデル (LLM) とその微調整技術は、さまざまな言語理解および生成タスクにおいて優れたパフォーマンスを実証しています。
このペーパーでは、金融ニュースフローを使用した株式収益予測のための LLM の微調整について説明します。
クオンツ投資では、リターン予測は、銘柄選択やポートフォリオの最適化などの後続のタスクの基礎となります。テキスト表現と予測モジュールを含むようにモデルを定式化します。
エンコーダのみの LLM とデコーダのみの LLM が異なる方法でテキスト表現を生成することを考慮して、それらを比較することを提案します。
これらのさまざまな表現が予測パフォーマンスに与える影響については、未解決の問題が残っています。
一方、LLM のトークンレベル表現を予測モジュールに統合する 2 つの簡単な方法を比較します。
実際のニュースと投資ユニバースに関する実験では、次のことが明らかになりました。(1) LLM のトークンレベルの埋め込みからの集約表現は、一般に、ロングのみのポートフォリオとロングショートのポートフォリオのパフォーマンスを向上させるリターン予測を生成します。
(2) 比較的大規模な投資ユニバースでは、デコーダー LLM ベースの予測モデルがより強力なポートフォリオにつながりますが、小規模なユニバースでは一貫した勝者は存在しません。
調査された 3 つの LLM (DeBERTa、Mistral、Llama) の中で、Mistral は異なるユニバース間でより堅牢に動作します。
(3) LLM のテキスト表現から得られるリターン予測は、ポートフォリオ構築の強力なシグナルであり、従来の感情スコアを上回ります。

要約(オリジナル)

Large language models (LLMs) and their fine-tuning techniques have demonstrated superior performance in various language understanding and generation tasks. This paper explores fine-tuning LLMs for stock return forecasting with financial newsflow. In quantitative investing, return forecasting is fundamental for subsequent tasks like stock picking, portfolio optimization, etc. We formulate the model to include text representation and forecasting modules. We propose to compare the encoder-only and decoder-only LLMs, considering they generate text representations in distinct ways. The impact of these different representations on forecasting performance remains an open question. Meanwhile, we compare two simple methods of integrating LLMs’ token-level representations into the forecasting module. The experiments on real news and investment universes reveal that: (1) aggregated representations from LLMs’ token-level embeddings generally produce return predictions that enhance the performance of long-only and long-short portfolios; (2) in the relatively large investment universe, the decoder LLMs-based prediction model leads to stronger portfolios, whereas in the small universes, there are no consistent winners. Among the three LLMs studied (DeBERTa, Mistral, Llama), Mistral performs more robustly across different universes; (3) return predictions derived from LLMs’ text representations are a strong signal for portfolio construction, outperforming conventional sentiment scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google