Online learning techniques for prediction of temporal tabular datasets with regime changes

要約

深層学習を非定常時間データセットに適用すると、レジーム変更時にパフォーマンスが低下する過学習モデルが生成される可能性があります。
この研究では、時間パネル データセットの予測をランク付けするための、体制変更下でも堅牢なモジュール式機械学習パイプラインを提案します。
パイプラインのモジュール性により、特徴量エンジニアリングの有無にかかわらず、勾配ブースティング デシジョン ツリー (GBDT) やニューラル ネットワークなどのさまざまなモデルを使用できます。
株式ポートフォリオ予測のための財務データに関するフレームワークを評価したところ、ドロップアウトを含む GBDT モデルは、複雑さと計算コストが削減され、高いパフォーマンス、堅牢性、汎用性を示すことがわかりました。
次に、モデルの再トレーニングを必要としないオンライン学習手法を予測後に使用して結果を向上させる方法を示します。
まず、動的特徴投影がレジーム変更時のドローダウンを削減することでロバスト性を向上させることを示します。
次に、最近のパフォーマンスが良好なモデルの選択に基づく動的モデル アンサンブルが、サンプル外予測のシャープ比とカルマー比の向上につながることを示します。
また、さまざまなデータ分割とランダム シードにわたるパイプラインの堅牢性も良好な再現性で評価します。

要約(オリジナル)

The application of deep learning to non-stationary temporal datasets can lead to overfitted models that underperform under regime changes. In this work, we propose a modular machine learning pipeline for ranking predictions on temporal panel datasets which is robust under regime changes. The modularity of the pipeline allows the use of different models, including Gradient Boosting Decision Trees (GBDTs) and Neural Networks, with and without feature engineering. We evaluate our framework on financial data for stock portfolio prediction, and find that GBDT models with dropout display high performance, robustness and generalisability with reduced complexity and computational cost. We then demonstrate how online learning techniques, which require no retraining of models, can be used post-prediction to enhance the results. First, we show that dynamic feature projection improves robustness by reducing drawdown in regime changes. Second, we demonstrate that dynamical model ensembling based on selection of models with good recent performance leads to improved Sharpe and Calmar ratios of out-of-sample predictions. We also evaluate the robustness of our pipeline across different data splits and random seeds with good reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google