DyG-Mamba: Continuous State Space Modeling on Dynamic Graphs

要約

動的グラフ学習は、実世界のシステムにおける進化の法則を明らかにし、正確な社会的推奨 (リンク予測) やがん細胞の早期検出 (分類) を可能にすることを目的としています。
言語モデリングにおける長期依存関係を効率的に捕捉するための状態空間モデル (Mamba など) の成功に触発されて、動的グラフ学習のための新しい連続状態空間モデル (SSM) である DyG-Mamba を提案します。
具体的には、SSM の制御信号として入力を使用することは、サンプリング間隔が不規則な連続時間の動的ネットワーク データには適しておらず、その結果、モデルが時間情報の影響を受けにくくなり、一般化特性が欠如することが初めてわかりました。
過去の出来事の記憶が出来事そのものの詳細ではなく時間間隔と強く相関していることを示唆するエビングハウスの忘却曲線からインスピレーションを得て、我々は不規則な時間間隔を SSM の制御信号として直接利用して、大幅な堅牢性と一般化を達成しました。
動的リンク予測および動的ノード分類タスクのための 12 個のデータセットに対する徹底的な実験を通じて、DyG-Mamba がほとんどのデータセットで最先端のパフォーマンスを達成すると同時に、計算​​効率とメモリ効率が大幅に向上することも実証したことがわかりました。

要約(オリジナル)

Dynamic graph learning aims to uncover evolutionary laws in real-world systems, enabling accurate social recommendation (link prediction) or early detection of cancer cells (classification). Inspired by the success of state space models, e.g., Mamba, for efficiently capturing long-term dependencies in language modeling, we propose DyG-Mamba, a new continuous state space model (SSM) for dynamic graph learning. Specifically, we first found that using inputs as control signals for SSM is not suitable for continuous-time dynamic network data with irregular sampling intervals, resulting in models being insensitive to time information and lacking generalization properties. Drawing inspiration from the Ebbinghaus forgetting curve, which suggests that memory of past events is strongly correlated with time intervals rather than specific details of the events themselves, we directly utilize irregular time spans as control signals for SSM to achieve significant robustness and generalization. Through exhaustive experiments on 12 datasets for dynamic link prediction and dynamic node classification tasks, we found that DyG-Mamba achieves state-of-the-art performance on most of the datasets, while also demonstrating significantly improved computation and memory efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google