Structure-reinforced Transformer for Dynamic Graph Representation Learning with Edge Temporal States

要約

実世界のアプリケーションにおけるグラフデータ解析の需要の高まりに後押しされ、急成長している動的グラフ表現学習の分野は、魅力的なチャンスと手ごわい課題の両方を投げかけている。リカレントニューラルネットワーク(RNN)やグラフニューラルネットワーク(GNN)を活用した最近の研究で有望な結果が得られているにもかかわらず、これらのアプローチでは、異なるタイムスライスにわたるノード間関係の強さに対するエッジの時間的状態の影響を適切に考慮できないことが多く、さらに、関係強度の変動によって引き起こされるノードの特徴の動的な変化を見落としている。さらに、大域的な構造特徴の抽出は、GNN固有の過平滑化の欠点によって妨げられ、その結果、全体的な性能が制限される。本論文では、新しい動的グラフ表現学習フレームワーク、すなわちリカレント構造強化グラフ変換器（RSGT）を導入する。このフレームワークは、任意の連続する2つのスナップショット間の差に基づき、異なるエッジタイプと重みを利用することで、エッジの時間的状態を最初に明示的にモデル化する。このようにして、変化するエッジの時間的状態がグラフのトポロジカル構造の一部としてマッピングされる。続いて、グラフのトポロジー構造と進化するダイナミクスの両方を符号化する時間的ノード表現を、リカレント学習パラダイムを通して捉える、構造強化グラフ変換器を提案する。実世界の4つのデータセットを用いた実験評価により、離散的な動的グラフ表現学習におけるRSGTの優れた性能が実証された。その結果、動的リンク予測タスクにおいて、RSGTは常に競合手法を凌駕することが明らかになった。

要約(オリジナル)

The burgeoning field of dynamic graph representation learning, fuelled by the increasing demand for graph data analysis in real-world applications, poses both enticing opportunities and formidable challenges. Despite the promising results achieved by recent research leveraging recurrent neural networks (RNNs) and graph neural networks (GNNs), these approaches often fail to adequately consider the impact of the edge temporal states on the strength of inter-node relationships across different time slices, further overlooking the dynamic changes in node features induced by fluctuations in relationship strength. Furthermore, the extraction of global structural features is hindered by the inherent over-smoothing drawback of GNNs, which in turn limits their overall performance. In this paper, we introduce a novel dynamic graph representation learning framework namely Recurrent Structure-reinforced Graph Transformer (RSGT), which initially models the temporal status of edges explicitly by utilizing different edge types and weights based on the differences between any two consecutive snapshots. In this manner, the varying edge temporal states are mapped as a part of the topological structure of the graph. Subsequently, a structure-reinforced graph transformer is proposed to capture temporal node representations that encoding both the graph topological structure and evolving dynamics,through a recurrent learning paradigm. Our experimental evaluations, conducted on four real-world datasets, underscore the superior performance of the RSGT in the realm of discrete dynamic graph representation learning. The results reveal that RSGT consistently surpasses competing methods in dynamic link prediction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL