SERT: A Transfomer Based Model for Spatio-Temporal Sensor Data with Missing Values for Environmental Monitoring

要約

環境モニタリングは、気候変動、生物多様性の損失、汚染を理解するために非常に重要です。
センサーや衛星などのソースから大規模な時空間データを利用できるため、主要な要因を予測し理解するための高度なモデルを開発できます。
ただし、センサーから収集されたデータには、機器の故障やメンテナンスの問題により欠損値が含まれることがよくあります。
欠損値が同時に発生することはほとんどなく、データが多変量の位置がずれた疎な時系列になります。
私たちは、補完を必要とせずに欠損データを自然に処理しながら、多変量の時空間予測を実行できる 2 つのモデルを提案します。
最初のモデルはトランスフォーマーベースのモデルで、これを SERT (Spatio-temporal Encoder Representations from Transformers) と名付けます。
2 つ目は、解釈可能な結果を​​提供できる SST-ANN (Sparse Spatio-Temporal Artificial Neural Network) と呼ばれる単純なモデルです。
私たちは、多変量時空間予測のために 2 つの異なるデータセットで広範な実験を実施し、私たちのモデルが最先端のモデルと競合する、または優れたパフォーマンスを備えていることを示しています。

要約(オリジナル)

Environmental monitoring is crucial to our understanding of climate change, biodiversity loss and pollution. The availability of large-scale spatio-temporal data from sources such as sensors and satellites allows us to develop sophisticated models for forecasting and understanding key drivers. However, the data collected from sensors often contain missing values due to faulty equipment or maintenance issues. The missing values rarely occur simultaneously leading to data that are multivariate misaligned sparse time series. We propose two models that are capable of performing multivariate spatio-temporal forecasting while handling missing data naturally without the need for imputation. The first model is a transformer-based model, which we name SERT (Spatio-temporal Encoder Representations from Transformers). The second is a simpler model named SST-ANN (Sparse Spatio-Temporal Artificial Neural Network) which is capable of providing interpretable results. We conduct extensive experiments on two different datasets for multivariate spatio-temporal forecasting and show that our models have competitive or superior performance to those at the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google