A Comparative Study on Dynamic Graph Embedding based on Mamba and Transformers

要約

動的グラフ埋め込みは、多様なドメイン全体で複雑な時間発生ネットワークをモデル化するための重要な手法として浮上しています。
トランスベースのモデルは、時間グラフデータの長距離依存関係をキャプチャすることで有望を示していますが、二次計算の複雑さによりスケーラビリティの課題に直面しています。
この研究では、変圧器と最近提案されたMAMBAアーキテクチャを使用した動的グラフ埋め込みアプローチの比較分析を示しています。これは、線形複雑さのある状態空間モデルです。
3つの新しいモデルを紹介します。グラフ畳み込みネットワークを使用したTransformERG2G Augment、\ mathcal {dg} -mamba、および\ mathcal {gdg} -mambaグラフ同型ネットワークエッジエッジ逆逆です。
複数のベンチマークデータセットでの実験は、MAMBAベースのモデルがリンク予測タスクで変圧器ベースのアプローチに匹敵するパフォーマンスまたは優れたパフォーマンスを実現しながら、より長いシーケンスで大幅な計算効率の向上を提供することを示しています。
特に、\ mathcal {dg} -mambaバリアントは、SBMなどのより安定したグラフで競争力のあるパフォーマンスを維持しながら、UCI、ビットコイン、リアリティマイニングなど、高い時間的変動性を持つデータセット上の変圧器ベースのモデルを一貫して上回ります。
注意の重みと状態マトリックスの分析を通じて、学習した時間依存性に関する洞察を提供し、複雑な時間パターンをキャプチャするモデルの能力を明らかにします。
状態空間モデルとグラフニューラルネットワークを効果的に組み合わせることにより、私たちの仕事は、以前のアプローチの重要な制限に対処し、効率的な時間グラフ表現学習に関する研究の成長に貢献します。
これらの調査結果は、より大きく、より複雑な現実世界のネットワークへの動的グラフの埋め込みをスケーリングするための有望な方向を提供し、ソーシャルネットワーク分析、財務モデリング、生物システムのダイナミクスなどの分野での新しいアプリケーションを潜在的に可能にします。

要約(オリジナル)

Dynamic graph embedding has emerged as an important technique for modeling complex time-evolving networks across diverse domains. While transformer-based models have shown promise in capturing long-range dependencies in temporal graph data, they face scalability challenges due to quadratic computational complexity. This study presents a comparative analysis of dynamic graph embedding approaches using transformers and the recently proposed Mamba architecture, a state-space model with linear complexity. We introduce three novel models: TransformerG2G augment with graph convolutional networks, \mathcal{DG}-Mamba, and \mathcal{GDG}-Mamba with graph isomorphism network edge convolutions. Our experiments on multiple benchmark datasets demonstrate that Mamba-based models achieve comparable or superior performance to transformer-based approaches in link prediction tasks while offering significant computational efficiency gains on longer sequences. Notably, \mathcal{DG}-Mamba variants consistently outperform transformer-based models on datasets with high temporal variability, such as UCI, Bitcoin, and Reality Mining, while maintaining competitive performance on more stable graphs like SBM. We provide insights into the learned temporal dependencies through analysis of attention weights and state matrices, revealing the models’ ability to capture complex temporal patterns. By effectively combining state-space models with graph neural networks, our work addresses key limitations of previous approaches and contributes to the growing body of research on efficient temporal graph representation learning. These findings offer promising directions for scaling dynamic graph embedding to larger, more complex real-world networks, potentially enabling new applications in areas such as social network analysis, financial modeling, and biological system dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google