Temporal Graph Rewiring with Expander Graphs

要約

現実世界のネットワークにおける進化する関係は、多くの場合、時間グラフによってモデル化されます。
テンポラル グラフ ニューラル ネットワーク (TGNN) は、グラフ ニューラル ネットワーク (GNN) の核となるメッセージ パッシング プリミティブを利用することで、そのようなグラフの進化的動作をモデル化するために登場しました。
GNN が、リーチ不足や過剰潰しなど、入力グラフ トポロジに直接関係するいくつかの問題に対して脆弱であることはよく知られています。これらの問題は、特に古いノードの結果として、時間グラフで悪化することが多いと主張します。
そしてエッジ。
グラフ再配線技術は、グラフ トポロジをメッセージ パッシングに適したものにするために GNN で頻繁に使用されていますが、TGNN では主流で使用されていません。
この研究では、私たちの知る限り、時間グラフ上のグラフ再配線のための最初のアプローチである時間グラフ再配線 (TGR) を提案します。
TGR は、基礎となるグラフ構造に最小限の仮定を置く、静的グラフでのグラフ再配線に使用される著名なフレームワークであるエキスパンダー グラフ伝播を利用して、連続時間動的グラフ内の時間的に離れたノード間にメッセージ パッシング ハイウェイを構築します。
困難な TGB ベンチマークにおいて、TGR は執筆時点で tgbl-review、tgbl-coin、tgbl-comment、および tgbl-flight データセットで最先端の結果を達成しています。
tgbl-review の場合、TGR はベースの TGN モデルと比較して MRR が 50.5% 向上し、ベースの TNCN モデルと比較して 22.2% 向上しています。
基本モデルに対する大幅な改善は、時間グラフの再配線の明らかな利点を示しています。

要約(オリジナル)

Evolving relations in real-world networks are often modelled by temporal graphs. Temporal Graph Neural Networks (TGNNs) emerged to model evolutionary behaviour of such graphs by leveraging the message passing primitive at the core of Graph Neural Networks (GNNs). It is well-known that GNNs are vulnerable to several issues directly related to the input graph topology, such as under-reaching and over-squashing – we argue that these issues can often get exacerbated in temporal graphs, particularly as the result of stale nodes and edges. While graph rewiring techniques have seen frequent usage in GNNs to make the graph topology more favourable for message passing, they have not seen any mainstream usage on TGNNs. In this work, we propose Temporal Graph Rewiring (TGR), the first approach for graph rewiring on temporal graphs, to the best of our knowledge. TGR constructs message passing highways between temporally distant nodes in a continuous-time dynamic graph by utilizing expander graph propagation, a prominent framework used for graph rewiring on static graphs which makes minimal assumptions on the underlying graph structure. On the challenging TGB benchmark, TGR achieves state-of-the-art results on tgbl-review, tgbl-coin, tgbl-comment and tgbl-flight datasets at the time of writing. For tgbl-review, TGR has 50.5% improvement in MRR over the base TGN model and 22.2% improvement over the base TNCN model. The significant improvement over base models demonstrates clear benefits of temporal graph rewiring.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google