SAITS: Self-Attention-based Imputation for Time Series

要約

時系列データの欠落は広範な問題であり、高度な分析の妨げとなります。
一般的な解決策は代入です。基本的な課題は、どの値を埋めるべきかを決定することです。この論文では、多変量時系列における欠損値の代入のための自己注意メカニズムに基づく新しい方法である SAITS を提案します。
共同最適化アプローチによってトレーニングされた SAITS は、2 つの対角線でマスクされた自己注意 (DMSA) ブロックの重み付けされた組み合わせから欠損値を学習します。
DMSA は、タイム ステップ間の時間依存性と特徴相関の両方を明示的に取得するため、代入精度とトレーニング速度が向上します。
一方、重み付け組み合わせ設計により、SAITS はアテンション マップと欠損情報に従って、2 つの DMSA ブロックから学習した表現に動的に重みを割り当てることができます。
広範な実験により、SAITS が時系列代入タスクにおいて最先端の手法を効率的に上回っていることが定量的および定性的に実証され、現実世界の不完全な時系列データに対するパターン認識モデルの学習パフォーマンスを向上させる SAITS の可能性が明らかになりました。
。
コードは GitHub (https://github.com/WenjieDu/SAITS) のオープンソースです。

要約(オリジナル)

Missing data in time series is a pervasive problem that puts obstacles in the way of advanced analysis. A popular solution is imputation, where the fundamental challenge is to determine what values should be filled in. This paper proposes SAITS, a novel method based on the self-attention mechanism for missing value imputation in multivariate time series. Trained by a joint-optimization approach, SAITS learns missing values from a weighted combination of two diagonally-masked self-attention (DMSA) blocks. DMSA explicitly captures both the temporal dependencies and feature correlations between time steps, which improves imputation accuracy and training speed. Meanwhile, the weighted-combination design enables SAITS to dynamically assign weights to the learned representations from two DMSA blocks according to the attention map and the missingness information. Extensive experiments quantitatively and qualitatively demonstrate that SAITS outperforms the state-of-the-art methods on the time-series imputation task efficiently and reveal SAITS’ potential to improve the learning performance of pattern recognition models on incomplete time-series data from the real world. The code is open source on GitHub at https://github.com/WenjieDu/SAITS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google