Incorporating Pre-trained Model Prompting in Multimodal Stock Volume Movement Prediction

要約

株式関連ニュースと複合的な株式取引高の変動予測は、金融分野における基本的な問題の 1 つです。
モデルをゼロからトレーニングする既存のマルチモーダルな作品は、金融ニュースをモデル化する際に普遍的な知識が不足しているという問題に直面しています。
さらに、データセット内のデータが不十分であるため、ドメイン関連の知識が不足しているため、モデルの能力が制限される可能性があります。
この問題に対処するために、テキストおよび時系列モダリティを処理するプロンプトベースのマルチモーダル株式ボリューム予測モデル (ProMUSE) を提案します。
私たちは金融ニュースをよりよく理解するために事前トレーニングされた言語モデルを使用し、テキスト情報をモデル化するための普遍的な知識の能力を活用するための迅速な学習方法を採用しています。
さらに、2 つのモダリティを単純に融合すると、単峰性の表現に害を及ぼす可能性があります。
したがって、この問題を軽減するために融合ヘッドの横に単峰ヘッドを残しつつ、新しいクロスモダリティのコントラストアライメントを提案します。
広範な実験により、私たちが提案した ProMUSE が既存のベースラインよりも優れたパフォーマンスを発揮することが実証されました。
包括的な分析により、潜在的なバリアントや学習メカニズムと比較して、アーキテクチャの有効性がさらに検証されます。

要約(オリジナル)

Multimodal stock trading volume movement prediction with stock-related news is one of the fundamental problems in the financial area. Existing multimodal works that train models from scratch face the problem of lacking universal knowledge when modeling financial news. In addition, the models ability may be limited by the lack of domain-related knowledge due to insufficient data in the datasets. To handle this issue, we propose the Prompt-based MUltimodal Stock volumE prediction model (ProMUSE) to process text and time series modalities. We use pre-trained language models for better comprehension of financial news and adopt prompt learning methods to leverage their capability in universal knowledge to model textual information. Besides, simply fusing two modalities can cause harm to the unimodal representations. Thus, we propose a novel cross-modality contrastive alignment while reserving the unimodal heads beside the fusion head to mitigate this problem. Extensive experiments demonstrate that our proposed ProMUSE outperforms existing baselines. Comprehensive analyses further validate the effectiveness of our architecture compared to potential variants and learning mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google