SERT: A Transfomer Based Model for Spatio-Temporal Sensor Data with Missing Values for Environmental Monitoring

要約

環境モニタリングは、気候変動、生物多様性の損失、汚染などを理解する上で極めて重要です。センサーや衛星などの情報源から大規模な時空間データを入手できるため、主要な推進要因を予測・理解するための高度なモデルを開発することができます。しかし、センサーから収集されたデータは、機器の不具合やメンテナンスの問題により、しばしば欠損値を含んでいます。また、欠損値が同時に発生することはほとんどなく、多変量にずれたスパース時系列となる。我々は、インピュテーションを必要とせず、欠損データを自然に扱いながら、多変量時空間予測を行うことができる2つのモデルを提案する。最初のモデルは、SERT（Spatio-temporal Encoder Representations from Transformers）と名付けた、トランスフォーマーに基づくモデルである。もう一つは、SST-ANN（Sparse Spatio-Temporal Artificial Neural Network）と名付けた、よりシンプルなモデルで、解釈可能な結果を提供することが可能である。多変量時空間予測のための2つの異なるデータセットで大規模な実験を行い、我々のモデルが最先端のものと同等かそれ以上の性能を持つことを示す。

要約(オリジナル)

Environmental monitoring is crucial to our understanding of climate change, biodiversity loss and pollution. The availability of large-scale spatio-temporal data from sources such as sensors and satellites allows us to develop sophisticated models for forecasting and understanding key drivers. However, the data collected from sensors often contain missing values due to faulty equipment or maintenance issues. The missing values rarely occur simultaneously leading to data that are multivariate misaligned sparse time series. We propose two models that are capable of performing multivariate spatio-temporal forecasting while handling missing data naturally without the need for imputation. The first model is a transformer-based model, which we name SERT (Spatio-temporal Encoder Representations from Transformers). The second is a simpler model named SST-ANN (Sparse Spatio-Temporal Artificial Neural Network) which is capable of providing interpretable results. We conduct extensive experiments on two different datasets for multivariate spatio-temporal forecasting and show that our models have competitive or superior performance to those at the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL