Transformers versus LSTMs for electronic trading

要約

人工知能の急速な発展に伴い、リカレント ニューラル ネットワーク (RNN) の一種である長短期記憶 (LSTM) が時系列予測に広く適用されています。
RNN と同様に、Transformer はシーケンシャル データを処理するように設計されています。
Transformer が自然言語処理 (NLP) で大きな成功を収めたため、研究者は時系列予測における Transformer のパフォーマンスに興味を持ち、最近では長期時系列予測に関する Transformer ベースのソリューションが多数登場しました。
ただし、金融時系列予測に関しては、LSTM が依然として有力なアーキテクチャです。
したがって、この研究が答えたい疑問は、Transformer ベースのモデルが金融時系列予測と LSTM に適用できるかどうかです。
この質問に答えるために、さまざまな LSTM ベースおよび Transformer ベースのモデルが、高頻度の指値注文帳データに基づく複数の財務予測タスクで比較されます。
DLSTM と呼ばれる新しい LSTM ベースのモデルが構築され、Transformer ベースのモデルの新しいアーキテクチャが財務予測に適応するように設計されています。
実験結果は、Transformer ベースのモデルが絶対価格系列予測において限定的な利点しか持たないことを反映しています。
LSTM ベースのモデルは、価格差や価格変動などの差分シーケンス予測において、より優れた堅牢なパフォーマンスを示します。

要約(オリジナル)

With the rapid development of artificial intelligence, long short term memory (LSTM), one kind of recurrent neural network (RNN), has been widely applied in time series prediction. Like RNN, Transformer is designed to handle the sequential data. As Transformer achieved great success in Natural Language Processing (NLP), researchers got interested in Transformer’s performance on time series prediction, and plenty of Transformer-based solutions on long time series forecasting have come out recently. However, when it comes to financial time series prediction, LSTM is still a dominant architecture. Therefore, the question this study wants to answer is: whether the Transformer-based model can be applied in financial time series prediction and beat LSTM. To answer this question, various LSTM-based and Transformer-based models are compared on multiple financial prediction tasks based on high-frequency limit order book data. A new LSTM-based model called DLSTM is built and new architecture for the Transformer-based model is designed to adapt for financial prediction. The experiment result reflects that the Transformer-based model only has the limited advantage in absolute price sequence prediction. The LSTM-based models show better and more robust performance on difference sequence prediction, such as price difference and price movement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google