Scalable and Efficient Temporal Graph Representation Learning via Forward Recent Sampling

要約

時間グラフ表現学習 (TGRL) は、現実世界のネットワークにおける動的システムのモデル化に不可欠です。
ただし、従来の TGRL 手法は、その有効性にもかかわらず、時間的近傍の非効率的なサンプリングによる重大な計算上の課題や推論の遅延に直面することがよくあります。
従来のサンプリング方法では通常、各ノードの対話履歴を遡って追跡する必要があります。
この論文では、新しい TGRL フレームワークである No-Looking-Back (NLB) を提案します。これは、フォワード 最近のサンプリング戦略を導入することでこれらの課題を克服します。
この戦略では、各ノードの GPU 実行可能でサイズ制限のあるハッシュ テーブルを利用することで、過去の対話を遡る必要がなくなります。
ハッシュ テーブルには、ダウンサンプリングされた最近のインタラクションのセットが記録され、最小限の推論遅延で迅速なクエリ応答が可能になります。
このハッシュ テーブルのメンテナンスは非常に効率的であり、$O(1)$ の複雑さで動作します。
NLB は GPU 処理と完全に互換性があり、プログラマビリティ、並列処理、電力効率を最大化します。
経験的評価により、NLB は 6 つの現実世界のデータセットにわたるリンク予測やノード分類などのタスクの精度において最先端の手法と同等またはそれを上回るだけでなく、1.32 ～ 4.40 倍の高速トレーニングと 1.2 ～ 7.94 倍のエネルギーを達成できることが実証されています。
効率が向上し、競合ベースラインと比較して推論レイテンシが 1.63 ～ 12.95 倍低くなります。
コードへのリンク: https://github.com/Graph-COM/NLB。

要約(オリジナル)

Temporal graph representation learning (TGRL) is essential for modeling dynamic systems in real-world networks. However, traditional TGRL methods, despite their effectiveness, often face significant computational challenges and inference delays due to the inefficient sampling of temporal neighbors. Conventional sampling methods typically involve backtracking through the interaction history of each node. In this paper, we propose a novel TGRL framework, No-Looking-Back (NLB), which overcomes these challenges by introducing a forward recent sampling strategy. This strategy eliminates the need to backtrack through historical interactions by utilizing a GPU-executable, size-constrained hash table for each node. The hash table records a down-sampled set of recent interactions, enabling rapid query responses with minimal inference latency. The maintenance of this hash table is highly efficient, operating with $O(1)$ complexity. Fully compatible with GPU processing, NLB maximizes programmability, parallelism, and power efficiency. Empirical evaluations demonstrate that NLB not only matches or surpasses state-of-the-art methods in accuracy for tasks like link prediction and node classification across six real-world datasets but also achieves 1.32-4.40x faster training, 1.2-7.94x greater energy efficiency, and 1.63-12.95x lower inference latency compared to competitive baselines. The link to the code: https://github.com/Graph-COM/NLB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google