Embedded feature selection in LSTM networks with multi-objective evolutionary ensemble learning for time series forecasting

要約

時系列予測はさまざまな分野で重要な役割を果たしており、複雑な時間パターンを効果的に処理できる堅牢なモデルの開発が必要です。
この記事では、多目的進化アルゴリズムを活用した、長短期記憶ネットワークに組み込まれた新しい特徴選択方法を紹介します。
私たちのアプローチは、進化的アルゴリズムの各目的関数が特定のデータ パーティション内の二乗平均平方根誤差をターゲットにして、パーティション化された方法で LSTM の重みとバイアスを最適化します。
アルゴリズムによって特定された非支配予測モデルのセットは、スタッキング ベースのアンサンブル学習を通じてメタモデルを構築するために利用されます。
さらに、非支配予測モデルのセットにおける各属性の選択頻度がその重要性を反映するため、私たちが提案する方法は、属性の重要性を決定する手段を提供します。
この属性の重要性に関する洞察により、予測プロセスに解釈可能な次元が追加されます。
イタリアとスペイン南東部の大気質時系列データの実験評価は、私たちの方法が従来の LSTM の一般化能力を大幅に向上させ、過剰学習を効果的に削減することを示しています。
最先端の CancelOut および EAR-FS メソッドとの比較分析により、私たちのアプローチの優れたパフォーマンスが強調されます。

要約(オリジナル)

Time series forecasting plays a crucial role in diverse fields, necessitating the development of robust models that can effectively handle complex temporal patterns. In this article, we present a novel feature selection method embedded in Long Short-Term Memory networks, leveraging a multi-objective evolutionary algorithm. Our approach optimizes the weights and biases of the LSTM in a partitioned manner, with each objective function of the evolutionary algorithm targeting the root mean square error in a specific data partition. The set of non-dominated forecast models identified by the algorithm is then utilized to construct a meta-model through stacking-based ensemble learning. Furthermore, our proposed method provides an avenue for attribute importance determination, as the frequency of selection for each attribute in the set of non-dominated forecasting models reflects their significance. This attribute importance insight adds an interpretable dimension to the forecasting process. Experimental evaluations on air quality time series data from Italy and southeast Spain demonstrate that our method substantially improves the generalization ability of conventional LSTMs, effectively reducing overfitting. Comparative analyses against state-of-the-art CancelOut and EAR-FS methods highlight the superior performance of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google