Robust incremental learning pipelines for temporal tabular datasets with distribution shifts

要約

この論文では、時間表形式のデータセットに対する回帰タスクのための堅牢な増分学習モデルを紹介します。
一般に利用可能な表形式および時系列予測モデルを構成要素として使用し、機械学習モデルはデータの分布の変化に適応するように段階的に構築されます。
自己相似性の概念を使用するこのモデルでは、機械学習モデルの 2 つの基本的な構成要素 (勾配ブースティング デシジョン ツリーとニューラル ネットワーク) のみを使用して、必要な複雑さに対応したモデルを構築します。
このモデルは、特殊なニューラル アーキテクチャが使用されておらず、各モデル構成ブロックを独立して並行してトレーニングできるため、効率的です。
このモデルは、レジームチェンジ、ファットテール分布、低い信号対雑音比などの悪条件下でも堅牢なパフォーマンスを発揮することが実証されています。
モデルの堅牢性は、さまざまなハイパーパラメーターと複雑さの下で研究されます。

要約(オリジナル)

In this paper, we present a robust incremental learning model for regression tasks on temporal tabular datasets. Using commonly available tabular and time-series prediction models as building blocks, a machine-learning model is built incrementally to adapt to distributional shifts in data. Using the concept of self-similarity, the model uses only two basic building blocks of machine learning models, gradient boosting decision trees and neural networks to build models for any required complexity. The model is efficient as no specialised neural architectures are used and each model building block can be independently trained in parallel. The model is demonstrated to have robust performances under adverse situations such as regime changes, fat-tailed distributions and low signal-to-noise ratios. Model robustness are studied under different hyper-parameters and complexities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google