Time-aware Graph Structure Learning via Sequence Prediction on Temporal Graphs

要約

グラフの時間発展の性質をモデル化することを目的とした時間グラフ学習は、ますます注目を集めており、最近目覚ましいパフォーマンスを達成しています。
ただし、実際には、グラフ構造は不完全でノイズが多いことが多く、これが時間グラフ ネットワーク (TGN) による情報表現の学習の妨げとなります。
グラフ対比学習では、データ拡張を使用して、既存のデータの妥当なバリエーションを生成し、堅牢な表現を学習します。
ただし、ルールベースの拡張アプローチは、学習可能性に欠け、下流タスクからの豊富な情報を活用できないため、最適ではない可能性があります。
これらの問題に対処するために、私たちは、時間グラフ上のシーケンス予測を介した時間認識グラフ構造学習 (TGSL) アプローチを提案します。これは、潜在的な時間エッジを追加することで、下流のタスクのためにより良いグラフ構造を学習します。
特に、以前に観察されたインタラクションに基づいて時間認識コンテキスト埋め込みを予測し、Gumble-Top-K を使用してこのコンテキスト埋め込みに最も近い候補エッジを選択します。
さらに、効率と多様性の両方を確保するために、いくつかの候補サンプリング戦略が提案されています。
さらに、グラフ構造と TGN をエンドツーエンドで共同学習し、洗練されたグラフに対して推論を実行します。
時間リンク予測ベンチマークに関する広範な実験により、TGSL は TGAT や GraphMixer などの一般的な TGN に対して大幅な向上をもたらし、時間グラフで他の対照的な学習方法よりも優れたパフォーマンスを発揮することが実証されました。
今後コードを公開していきます。

要約(オリジナル)

Temporal Graph Learning, which aims to model the time-evolving nature of graphs, has gained increasing attention and achieved remarkable performance recently. However, in reality, graph structures are often incomplete and noisy, which hinders temporal graph networks (TGNs) from learning informative representations. Graph contrastive learning uses data augmentation to generate plausible variations of existing data and learn robust representations. However, rule-based augmentation approaches may be suboptimal as they lack learnability and fail to leverage rich information from downstream tasks. To address these issues, we propose a Time-aware Graph Structure Learning (TGSL) approach via sequence prediction on temporal graphs, which learns better graph structures for downstream tasks through adding potential temporal edges. In particular, it predicts time-aware context embedding based on previously observed interactions and uses the Gumble-Top-K to select the closest candidate edges to this context embedding. Additionally, several candidate sampling strategies are proposed to ensure both efficiency and diversity. Furthermore, we jointly learn the graph structure and TGNs in an end-to-end manner and perform inference on the refined graph. Extensive experiments on temporal link prediction benchmarks demonstrate that TGSL yields significant gains for the popular TGNs such as TGAT and GraphMixer, and it outperforms other contrastive learning methods on temporal graphs. We will release the code in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google