DyGMamba: Efficiently Modeling Long-Term Temporal Dependency on Continuous-Time Dynamic Graphs with State Space Models

要約

連続時間動的グラフ（CTDG）の有用な表現を学習することは、長いノードの相互作用履歴に渡り、微妙な時間的詳細を把握する必要があるため、困難です。
特に、2つの問題が発生します。（1）より長い履歴をエンコードするには、より多くの計算リソースが必要であり、CTDGモデルが効率を確保するために低い計算の複雑さを維持することが重要になります。
（2）一方、より強力なモデルは、より長い履歴によって提供される拡張コンテキスト内で最も重要な時間情報を特定して選択するために必要です。
これらの問題に対処するために、人気のあるマンバ州スペースモデル（SSM）に由来するDygmambaという名前のCTDG表現学習モデルを提案します。
Dygmambaは最初にノードレベルのSSMを活用して、履歴ノード相互作用のシーケンスをエンコードします。
次に、別のタイムレベルのSSMを使用して、履歴グラフに隠された時間的パターンを活用します。そこでは、その出力を使用して、相互作用履歴から重要な情報を動的に選択します。
動的リンク予測タスクでDygmambaを実験的に検証します。
結果は、ほとんどの場合、モデルが最先端を達成することを示しています。
Dygmambaはまた、計算リソースの点で高い効率を維持しており、限られた計算予算で長い時間依存性をキャプチャすることが可能になります。

要約(オリジナル)

Learning useful representations for continuous-time dynamic graphs (CTDGs) is challenging, due to the concurrent need to span long node interaction histories and grasp nuanced temporal details. In particular, two problems emerge: (1) Encoding longer histories requires more computational resources, making it crucial for CTDG models to maintain low computational complexity to ensure efficiency; (2) Meanwhile, more powerful models are needed to identify and select the most critical temporal information within the extended context provided by longer histories. To address these problems, we propose a CTDG representation learning model named DyGMamba, originating from the popular Mamba state space model (SSM). DyGMamba first leverages a node-level SSM to encode the sequence of historical node interactions. Another time-level SSM is then employed to exploit the temporal patterns hidden in the historical graph, where its output is used to dynamically select the critical information from the interaction history. We validate DyGMamba experimentally on the dynamic link prediction task. The results show that our model achieves state-of-the-art in most cases. DyGMamba also maintains high efficiency in terms of computational resources, making it possible to capture long temporal dependencies with a limited computation budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google