Modular Neural Networks for Time Series Forecasting: Interpretability and Feature Selection using Attention

要約

多変量時系列は、医療や気象学から生命科学に至るまで、多くの用途があります。
深層学習モデルは時系列に対して優れた予測パフォーマンスを示していますが、「ブラックボックス」または解釈不可能であると批判されています。
この論文では、構築によって解釈可能な多変量時系列予測のための新しいモジュール式ニューラル ネットワーク モデルを提案します。
リカレント ニューラル ネットワークはデータの時間的依存関係を学習し、注意ベースの特徴選択コンポーネントは最も関連性の高い特徴を選択し、時間的依存関係の学習に使用される冗長な特徴を抑制します。
モジュール式のディープ ネットワークは、選択した特徴から独立してトレーニングされ、特徴が結果にどのような影響を与えるかをユーザーに示し、モデルを解釈可能にします。
実験結果は、このアプローチが、時系列タスクの回帰と分類の両方において、最先端の解釈可能な神経加算モデル (NAM) とそのバリエーションを上回り、上位の解釈不可能な手法に匹敵する予測パフォーマンスを達成できることを示しています。
時系列、LSTM、XGBoost。

要約(オリジナル)

Multivariate time series have many applications, from healthcare and meteorology to life science. Although deep learning models have shown excellent predictive performance for time series, they have been criticised for being ‘black-boxes’ or non-interpretable. This paper proposes a novel modular neural network model for multivariate time series prediction that is interpretable by construction. A recurrent neural network learns the temporal dependencies in the data while an attention-based feature selection component selects the most relevant features and suppresses redundant features used in the learning of the temporal dependencies. A modular deep network is trained from the selected features independently to show the users how features influence outcomes, making the model interpretable. Experimental results show that this approach can outperform state-of-the-art interpretable Neural Additive Models (NAM) and variations thereof in both regression and classification of time series tasks, achieving a predictive performance that is comparable to the top non-interpretable methods for time series, LSTM and XGBoost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google