Recurrent Transformer for Dynamic Graph Representation Learning with Edge Temporal States

要約

タイトル：エッジの時系列状態を利用した動的グラフ表現学習のための再帰トランスフォーマー

要約：

– 動的グラフ表現学習は、現実世界のアプリケーションにおいてグラフデータ解析が広く求められるため、注目を集める上での課題として成長している。
– RNNやGNNをベースとした最近の作品の性能が良いが、時間スライス内でエッジの時系列状態がノード特徴に与える影響を明示的にモデル化できず、グローバル構造特徴を抽出するのが難しい。
– 本論文では、再帰差分グラフトランスフォーマー（RDGT）フレームワークを提案し、最初に各スナップショットのエッジにさまざまなタイプと重みを割り当てて特定の時系列状態を明示的に説明し、構造強化グラフトランスフォーマーを再帰学習のパラダイムで使用して、一連の時間スライス上の時系列的なノード表現を捉えています。
– 4つの実世界データセットに対する実験結果は、RDGTが離散的な動的グラフ表現学習において優れた性能を持っていることを示しており、競合する方法に比べて、動的リンク予測タスクで一貫して優れた性能を発揮しています。

要約(オリジナル)

Dynamic graph representation learning is growing as a trending yet challenging research task owing to the widespread demand for graph data analysis in real world applications. Despite the encouraging performance of many recent works that build upon recurrent neural networks (RNNs) and graph neural networks (GNNs), they fail to explicitly model the impact of edge temporal states on node features over time slices. Additionally, they are challenging to extract global structural features because of the inherent over-smoothing disadvantage of GNNs, which further restricts the performance. In this paper, we propose a recurrent difference graph transformer (RDGT) framework, which firstly assigns the edges in each snapshot with various types and weights to illustrate their specific temporal states explicitly, then a structure-reinforced graph transformer is employed to capture the temporal node representations by a recurrent learning paradigm. Experimental results on four real-world datasets demonstrate the superiority of RDGT for discrete dynamic graph representation learning, as it consistently outperforms competing methods in dynamic link prediction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI