PLUTUS: A Well Pre-trained Large Unified Transformer can Unveil Financial Time Series Regularities

要約

金融時系列モデリングは市場の動きを理解して予測するために重要ですが、非線形性、非定常性、高いノイズレベルなどの課題に直面しています。
従来のモデルは、これらの問題により複雑なパターンを捕捉するのに苦労しており、計算リソースとモデル能力の制限によってさらに悪化します。
NLP における大規模言語モデルの成功に触発されて、\textbf{P} が再トレーニングされた \textbf{L} 規模の \textbf{U} 化された \textbf{T} トランスフォーマー ベースのモデルである \textbf{PLUTUS} を導入します。
\textbf{U}は財務時間\textbf{S}シリーズの規則性を明らかにします。
PLUTUS は、対照学習およびオートエンコーダ技術を備えた可逆エンベディング モジュールを使用して、生データとパッチ エンベ​​ディング間の近似 1 対 1 マッピングを作成します。
TimeFormer はアテンション ベースのアーキテクチャであり、PLUTUS の中核を形成し、高ノイズ時系列を効果的にモデル化します。
可変次元と時間次元の両方にわたって特徴を捕捉するための新しい注意メカニズムを組み込みます。
PLUTUS は、騒々しい金融環境でも成功するように設計された、1,000 億件の観測からなる前例のないデータセットで事前トレーニングされています。
私たちの知る限り、PLUTUS は、10 億を超えるパラメーターを備えた初のオープンソースの大規模な事前トレーニング済み金融時系列モデルです。
さまざまなタスクで最先端のパフォーマンスを実現し、強力な移転可能性を実証し、金融の堅牢な基盤モデルを確立します。
私たちの研究は、財務時系列データの事前トレーニングに関する技術的なガイダンスを提供し、この分野に新しい標準を設定します。

要約(オリジナル)

Financial time series modeling is crucial for understanding and predicting market behaviors but faces challenges such as non-linearity, non-stationarity, and high noise levels. Traditional models struggle to capture complex patterns due to these issues, compounded by limitations in computational resources and model capacity. Inspired by the success of large language models in NLP, we introduce \textbf{PLUTUS}, a \textbf{P}re-trained \textbf{L}arge \textbf{U}nified \textbf{T}ransformer-based model that \textbf{U}nveils regularities in financial time \textbf{S}eries. PLUTUS uses an invertible embedding module with contrastive learning and autoencoder techniques to create an approximate one-to-one mapping between raw data and patch embeddings. TimeFormer, an attention based architecture, forms the core of PLUTUS, effectively modeling high-noise time series. We incorporate a novel attention mechanisms to capture features across both variable and temporal dimensions. PLUTUS is pre-trained on an unprecedented dataset of 100 billion observations, designed to thrive in noisy financial environments. To our knowledge, PLUTUS is the first open-source, large-scale, pre-trained financial time series model with over one billion parameters. It achieves state-of-the-art performance in various tasks, demonstrating strong transferability and establishing a robust foundational model for finance. Our research provides technical guidance for pre-training financial time series data, setting a new standard in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google