Uncertainty-Aware Deep Attention Recurrent Neural Network for Heterogeneous Time Series Imputation

要約

欠測は多変量時系列に偏在し、信頼性の高いダウンストリーム解析の障害となる。リカレントネットワークのインピュテーションはSOTAを達成したが、既存のモデルは、複雑なデータで発生する問題を軽減できる可能性のある深いアーキテクチャには拡張できない。さらに、インピュテーションには、グランドトゥルースの推定に偏りが生じるリスクがある。しかし、インピュテーションされた値の信頼性は常に測定されていないか、モデル出力から事後的に計算される。我々は、DEARI（Deep Attention Recurrent Imputation）を提案する。これは、異種多変量時系列における欠損値とそれに関連する不確実性を共同で推定するものである。特徴ごとの相関と時間的ダイナミクスを共同で表現することで、効果的な残差成分とともに自己注意メカニズムを採用し、優れたインピュテーション性能と安定した収束性を持つディープリカレントニューラルネットワークを実現する。また、自己教師付きメトリック学習を活用し、サンプルの類似性を最適化することで性能を向上させる。最後に、DEARIをベイズニューラルネットワークに変換し、新しいベイズマージナル化戦略を用いて確率的DEARIを生成する。実験の結果、DEARIは、大気質管理、ヘルスケア、交通といった実世界のデータセットを用いた様々なインピュテーションタスクにおいて、SOTAを上回ることが示された。

要約(オリジナル)

Missingness is ubiquitous in multivariate time series and poses an obstacle to reliable downstream analysis. Although recurrent network imputation achieved the SOTA, existing models do not scale to deep architectures that can potentially alleviate issues arising in complex data. Moreover, imputation carries the risk of biased estimations of the ground truth. Yet, confidence in the imputed values is always unmeasured or computed post hoc from model output. We propose DEep Attention Recurrent Imputation (DEARI), which jointly estimates missing values and their associated uncertainty in heterogeneous multivariate time series. By jointly representing feature-wise correlations and temporal dynamics, we adopt a self attention mechanism, along with an effective residual component, to achieve a deep recurrent neural network with good imputation performance and stable convergence. We also leverage self-supervised metric learning to boost performance by optimizing sample similarity. Finally, we transform DEARI into a Bayesian neural network through a novel Bayesian marginalization strategy to produce stochastic DEARI, which outperforms its deterministic equivalent. Experiments show that DEARI surpasses the SOTA in diverse imputation tasks using real-world datasets, namely air quality control, healthcare and traffic.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL