A Gravity-informed Spatiotemporal Transformer for Human Activity Intensity Prediction

要約

人間の活動強度予測は、多くのロケーションベースのサービスにとって重要です。
人間の活動の動的な時空間パターンをモデル化するための大きな進歩がなされていますが、空間的グラフニューラルネットワーク（ST-GNNS）を含むほとんどの既存の方法は、空間相互作用の物理的制約と空間相関モデリングにおける滑らかな現象を見落としています。
これらの制限に対処するために、この作業では、物理学に基づいたディープラーニングフレームワーク、すなわち、重力に基づいた空間変圧器（重力形態）を提案します。トランスの注意を改善して重力の普遍的な法則を統合し、空間相互作用から制約を明示的に組み込むことにより。
具体的には、（1）インフローと流出に基づいた2つの空間的に明示的な質量パラメーターを推定します。（2）空間モデルのランダム性を制約するために空間的相互作用の閉形式溶液を使用して、クロスユニット相互作用の可能性をモデル化し、（3）学習した空間的相互作用を活用して、誘惑を導き、緩和します。
人間の活動の根本的な法則は、提案された適応重力モデルによって明示的にモデル化される可能性があります。
さらに、結合された空間学習と時間学習のバランスをとるために、平行した時空グラフ畳み込み変圧器構造が提案されています。
6つの現実世界の大規模なアクティビティデータセットでの体系的な実験は、最先端のベンチマークに対するアプローチの定量的および定性的な優位性を示しています。
さらに、学習した重力注意マトリックスは、地理的法則に基づいて解釈して解釈することができます。
この研究は、物理的法則を空間的予測学習のための深い学習と統合するという新しい洞察を提供します。

要約(オリジナル)

Human activity intensity prediction is a crucial to many location-based services. Although tremendous progress has been made to model dynamic spatiotemporal patterns of human activity, most existing methods, including spatiotemporal graph neural networks (ST-GNNs), overlook physical constraints of spatial interactions and the over-smoothing phenomenon in spatial correlation modeling. To address these limitations, this work proposes a physics-informed deep learning framework, namely Gravity-informed Spatiotemporal Transformer (Gravityformer) by refining transformer attention to integrate the universal law of gravitation and explicitly incorporating constraints from spatial interactions. Specifically, it (1) estimates two spatially explicit mass parameters based on inflow and outflow, (2) models the likelihood of cross-unit interaction using closed-form solutions of spatial interactions to constrain spatial modeling randomness, and (3) utilizes the learned spatial interaction to guide and mitigate the over-smoothing phenomenon in transformer attention matrices. The underlying law of human activity can be explicitly modeled by the proposed adaptive gravity model. Moreover, a parallel spatiotemporal graph convolution transformer structure is proposed for achieving a balance between coupled spatial and temporal learning. Systematic experiments on six real-world large-scale activity datasets demonstrate the quantitative and qualitative superiority of our approach over state-of-the-art benchmarks. Additionally, the learned gravity attention matrix can be disentangled and interpreted based on geographical laws. This work provides a novel insight into integrating physical laws with deep learning for spatiotemporal predictive learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google