Structure-preserving contrastive learning for spatial time series

要約

ニューラルネットワークモデルの有効性は、情報から有意義な潜在パターンを学習することに大きく依存しています。そこでは、有益な表現の自己監視学習がモデルのパフォーマンスと一般化可能性を高めることができます。
しかし、輸送ドメインで遍在する空間的に特徴付けられた時系列の自己監視表現学習は、潜在的な空間的類似性を維持する必要性のために独自の課題を提起します。
この研究では、空間時系列の対照的な学習のために2つの構造を提供する正規の常連客を紹介します。1つの正規の統一者は、インスタンス間の類似性のトポロジーを保持し、もう1つは空間的および時間的次元間の類似性のグラフジオメトリを保持します。
対照的な学習目標と構造保存の必要性のバランスをとるために、このトレードオフを適応的に管理し、トレーニングを安定させる動的な重み付けメカニズムを提案します。
多変量時系列分類を含む広範な実験を通じて提案された方法を検証し、その一般的な適用性を実証するだけでなく、巨視的および微視的なトラフィック予測を実証して、トラフィックの相互作用をエンコードする際の特定の有用性を強調します。
すべてのタスクにわたって、当社のメソッドは類似性構造をより効果的に保存し、最先端のタスクパフォ​​ーマンスを向上させます。
この方法は、任意のニューラルネットワークモデルと統合でき、空間的または地理的特徴を備えた時系列データに特に有益です。
さらに、我々の調査結果は、潜在空間のよく保存された類似性構造が、より有益で有用な表現を示すことを示唆しています。
これは、データ駆動型の輸送研究のためのより効果的なニューラルネットワークを設計するための洞察を提供します。
私たちのコードは、https://github.com/yiru-jiao/spcltで結果のすべてのデータで公然とアクセス可能になります

要約(オリジナル)

The effectiveness of neural network models largely relies on learning meaningful latent patterns from data, where self-supervised learning of informative representations can enhance model performance and generalisability. However, self-supervised representation learning for spatially characterised time series, which are ubiquitous in transportation domain, poses unique challenges due to the necessity of maintaining fine-grained spatio-temporal similarities in the latent space. In this study, we introduce two structure-preserving regularisers for the contrastive learning of spatial time series: one regulariser preserves the topology of similarities between instances, and the other preserves the graph geometry of similarities across spatial and temporal dimensions. To balance the contrastive learning objective and the need for structure preservation, we propose a dynamic weighting mechanism that adaptively manages this trade-off and stabilises training. We validate the proposed method through extensive experiments, including multivariate time series classification to demonstrate its general applicability, as well as macroscopic and microscopic traffic prediction to highlight its particular usefulness in encoding traffic interactions. Across all tasks, our method preserves the similarity structures more effectively and improves state-of-the-art task performances. This method can be integrated with an arbitrary neural network model and is particularly beneficial for time series data with spatial or geographical features. Furthermore, our findings suggest that well-preserved similarity structures in the latent space indicate more informative and useful representations. This provides insights to design more effective neural networks for data-driven transportation research. Our code is made openly accessible with all resulting data at https://github.com/yiru-jiao/spclt

arxiv情報

提供元, 利用サービス

arxiv.jp, Google