DyGMamba: Efficiently Modeling Long-Term Temporal Dependency on Continuous-Time Dynamic Graphs with State Space Models

要約

連続時間動的グラフ(CTDG)の有用な表現を学習することは、長いノード相互作用の履歴にまたがり、微妙な時間的詳細を把握する必要が同時にあるため、困難である。特に、以下の2つの問題が浮上する。(1)より長い履歴を符号化するには、より多くの計算資源を必要とするため、CTDGモデルには、効率性を確保するために低い計算複雑度を維持することが重要である。これらの問題に対処するために、我々はDyGMambaと名付けられたCTDG表現学習モデルを提案する。DyGMambaは、まずノードレベルのSSMを活用して、過去のノード間の相互作用のシーケンスを符号化する。次に、別の時間レベルのSSMが、過去のグラフに隠された時間的パターンを利用するために採用され、その出力は、相互作用の履歴から重要な情報を動的に選択するために使われる。DyGMambaを動的リンク予測タスクで実験的に検証する。その結果、DyGMambaのモデルはほとんどの場合において最先端の性能を達成した。また、DyGMambaは計算資源の面でも高い効率を維持しており、限られた計算予算で長い時間依存関係を捉えることが可能である。

要約(オリジナル)

Learning useful representations for continuous-time dynamic graphs (CTDGs) is challenging, due to the concurrent need to span long node interaction histories and grasp nuanced temporal details. In particular, two problems emerge: (1) Encoding longer histories requires more computational resources, making it crucial for CTDG models to maintain low computational complexity to ensure efficiency; (2) Meanwhile, more powerful models are needed to identify and select the most critical temporal information within the extended context provided by longer histories. To address these problems, we propose a CTDG representation learning model named DyGMamba, originating from the popular Mamba state space model (SSM). DyGMamba first leverages a node-level SSM to encode the sequence of historical node interactions. Another time-level SSM is then employed to exploit the temporal patterns hidden in the historical graph, where its output is used to dynamically select the critical information from the interaction history. We validate DyGMamba experimentally on the dynamic link prediction task. The results show that our model achieves state-of-the-art in most cases. DyGMamba also maintains high efficiency in terms of computational resources, making it possible to capture long temporal dependencies with a limited computation budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL