Transformer Encoder and Multi-features Time2Vec for Financial Prediction

要約

財務予測は、時系列分析と信号処理の複雑で困難なタスクであり、短期変動と長期的な時間的依存関係の両方をモデル化すると予想されます。
トランスは、主に注意メカニズムを使用した自然言語処理で顕著な成功を収め、時系列コミュニティにも影響を与えました。
短距離と長距離の依存関係の両方をキャプチャする能力は、金融市場を理解し、価格パターンを認識し、ストック予測におけるトランスのアプリケーションを成功させるのに役立ちます。
以前の研究では、主に個々の機能と特異な予測に焦点を当てていますが、それはより広範な市場動向を理解するモデルの能力を制限しています。
現実には、金融や技術などのセクター内で、同じ業界に属する企業は、しばしば相関した株価の動きを示します。
このホワイトペーパーでは、Time2Vecをトランスモデルのエンコーダーと統合することにより、新しいニューラルネットワークアーキテクチャを開発します。
さまざまな市場の研究に基づいて、新しい相関特徴選択方法を提案します。
複数のハイパーパラメーターの包括的な微調整を通じて、ベンチマークモデルに対する結果の比較分析を実施します。
私たちの方法は、位置エンコーディングなどの他の最先端のエンコーディング方法を上回ると結論付けており、相関機能を選択することで複数の株価を予測する精度が向上すると結論付けています。

要約(オリジナル)

Financial prediction is a complex and challenging task of time series analysis and signal processing, expected to model both short-term fluctuations and long-term temporal dependencies. Transformers have remarkable success mostly in natural language processing using attention mechanism, which also influenced the time series community. The ability to capture both short and long-range dependencies helps to understand the financial market and to recognize price patterns, leading to successful applications of Transformers in stock prediction. Although, the previous research predominantly focuses on individual features and singular predictions, that limits the model’s ability to understand broader market trends. In reality, within sectors such as finance and technology, companies belonging to the same industry often exhibit correlated stock price movements. In this paper, we develop a novel neural network architecture by integrating Time2Vec with the Encoder of the Transformer model. Based on the study of different markets, we propose a novel correlation feature selection method. Through a comprehensive fine-tuning of multiple hyperparameters, we conduct a comparative analysis of our results against benchmark models. We conclude that our method outperforms other state-of-the-art encoding methods such as positional encoding, and we also conclude that selecting correlation features enhance the accuracy of predicting multiple stock prices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google