Understanding Model Complexity for temporal tabular and multi-variate time series, case study with Numerai data science tournament

要約

このホワイト ペーパーでは、多変量時系列モデリングにおけるさまざまな特徴量エンジニアリングと次元削減手法の使用について説明します。
Numerai トーナメントから作成された機能ターゲット相互相関時系列データセットを使用して、過剰にパラメーター化された体制の下で、さまざまな機能エンジニアリング手法からのパフォーマンスと予測の両方が同じ平衡に収束することを示します。これは、再現カーネル ヒルベルト空間によって特徴付けることができます。
高次元の時系列をモデル化するために、異なるランダムな非線形変換とそれに続くリッジ回帰を組み合わせた新しいアンサンブル法を提案します。
LSTM やトランスフォーマーなど、シーケンス モデリングに一般的に使用される一部の深層学習モデルと比較して、私たちの方法はより堅牢であり (さまざまなランダム シードに対するモデルの分散が低く、アーキテクチャの選択に対する感度が低くなります)、より効率的です。
PyTorch などの洗練された深層学習フレームワークを使用する必要がないため、この方法の追加の利点はモデルの単純さです。
学習した特徴ランキングは、Numerai トーナメントの一時的な表形式の予測問題に適用されます。この方法から得られた特徴ランキングの予測力は、移動平均に基づくベースライン予測モデルよりも優れています。

要約(オリジナル)

In this paper, we explore the use of different feature engineering and dimensionality reduction methods in multi-variate time-series modelling. Using a feature-target cross correlation time series dataset created from Numerai tournament, we demonstrate under over-parameterised regime, both the performance and predictions from different feature engineering methods converge to the same equilibrium, which can be characterised by the reproducing kernel Hilbert space. We suggest a new Ensemble method, which combines different random non-linear transforms followed by ridge regression for modelling high dimensional time-series. Compared to some commonly used deep learning models for sequence modelling, such as LSTM and transformers, our method is more robust (lower model variance over different random seeds and less sensitive to the choice of architecture) and more efficient. An additional advantage of our method is model simplicity as there is no need to use sophisticated deep learning frameworks such as PyTorch. The learned feature rankings are then applied to the temporal tabular prediction problem in the Numerai tournament, and the predictive power of feature rankings obtained from our method is better than the baseline prediction model based on moving averages

arxiv情報

提供元, 利用サービス

arxiv.jp, Google