Deep incremental learning models for financial temporal tabular datasets with distribution shifts

要約

金融時系列表データセットの回帰タスク用の堅牢な深層増分学習フレームワークを紹介します。このフレームワークは、金融データセットに特有の分布シフトに適応するために、一般的に利用可能な表形式および時系列予測モデルの増分使用に基づいて構築されています。
このフレームワークは、単純な基本構成要素 (デシジョン ツリー) を使用して、必要な複雑さの自己相似モデルを構築し、レジーム変更、ファットテール分布、低い S/N 比などの不利な状況下でも堅牢なパフォーマンスを実現します。
詳細な研究として、Numerai データセットでトレーニングされた XGBoost モデルを使用したスキームを実証し、異なるモデル スナップショットにわたる XGBoost モデルの 2 層の深いアンサンブルが、異なる市場体制下で高品質の予測を提供することを示します。
また、3 つのシナリオ (小規模、標準、大規模) でブースティング ラウンド数が異なる XGBoost モデルのパフォーマンスがモデル サイズに関して単調増加し、一般化上限に向かって収束していることも示します。
また、モデルの複雑さやデータ サンプリング設定など、さまざまなハイパーパラメーターの変動下でのモデルの堅牢性も評価します。
私たちのモデルは、特殊なニューラル アーキテクチャが使用されておらず、各基本モデルを個別に並行してトレーニングできるため、ハードウェア要件が低くなります。

要約(オリジナル)

We present a robust deep incremental learning framework for regression tasks on financial temporal tabular datasets which is built upon the incremental use of commonly available tabular and time series prediction models to adapt to distributional shifts typical of financial datasets. The framework uses a simple basic building block (decision trees) to build self-similar models of any required complexity to deliver robust performance under adverse situations such as regime changes, fat-tailed distributions, and low signal-to-noise ratios. As a detailed study, we demonstrate our scheme using XGBoost models trained on the Numerai dataset and show that a two layer deep ensemble of XGBoost models over different model snapshots delivers high quality predictions under different market regimes. We also show that the performance of XGBoost models with different number of boosting rounds in three scenarios (small, standard and large) is monotonically increasing with respect to model size and converges towards the generalisation upper bound. We also evaluate the robustness of the model under variability of different hyperparameters, such as model complexity and data sampling settings. Our model has low hardware requirements as no specialised neural architectures are used and each base model can be independently trained in parallel.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google