Enhancing Financial Time-Series Forecasting with Retrieval-Augmented Large Language Models

要約

財務時代の予測における重要なタスクである在庫運動予測は、広大で複雑なデータセットから重要な影響要因を特定して取得することに依存しています。
ただし、従来のテキストトレーニングまたは数値の類似性ベースの検索方法は、多くの場合、財務データの複雑さを処理するのに苦労しています。
これに対処するために、財務時代シリーズの予測向けに特別に設計された最初の検索された生成（RAG）フレームワークを提案します。
私たちのフレームワークには、3つの重要な革新が組み込まれています。バックボーンとしての微調整された1B大手言語モデル（Stockllm）、LLMフィードバックによって強化された新しい候補選択方法、クエリと歴史的に重要なシーケンスの類似性を最大化するトレーニング目標です。
これらの進歩により、レトリバーであるFinseerが意味のあるパターンを明らかにしながら、複雑な金融データセットのノイズを効果的に最小限に抑えることができます。
堅牢な評価をサポートするために、金融指標と過去の株価を統合する新しいデータセットも構築します。
実験結果は、RAGフレームワークがベースラインストックルムとランダム検索方法の両方よりも優れていることを示しており、その有効性を示しています。
Finseerは、Retriverとして、BigData22ベンチマークで8％高い精度を達成し、既存の検索方法と比較してよりインパクトのあるシーケンスを取得します。
この作業は、財務予測におけるカスタマイズされた検索モデルの重要性を強調し、この分野での将来の研究のための斬新でスケーラブルなフレームワークを提供します。

要約(オリジナル)

Stock movement prediction, a critical task in financial time-series forecasting, relies on identifying and retrieving key influencing factors from vast and complex datasets. However, traditional text-trained or numeric similarity-based retrieval methods often struggle to handle the intricacies of financial data. To address this, we propose the first retrieval-augmented generation (RAG) framework specifically designed for financial time-series forecasting. Our framework incorporates three key innovations: a fine-tuned 1B large language model (StockLLM) as its backbone, a novel candidate selection method enhanced by LLM feedback, and a training objective that maximizes the similarity between queries and historically significant sequences. These advancements enable our retriever, FinSeer, to uncover meaningful patterns while effectively minimizing noise in complex financial datasets. To support robust evaluation, we also construct new datasets that integrate financial indicators and historical stock prices. Experimental results demonstrate that our RAG framework outperforms both the baseline StockLLM and random retrieval methods, showcasing its effectiveness. FinSeer, as the retriever, achieves an 8% higher accuracy on the BIGDATA22 benchmark and retrieves more impactful sequences compared to existing retrieval methods. This work highlights the importance of tailored retrieval models in financial forecasting and provides a novel, scalable framework for future research in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google