Scaling Up Dynamic Graph Representation Learning via Spiking Neural Networks

要約

近年、動的で時間の経過とともに絶えず進化する時間グラフをモデル化することを目的とした、動的グラフ表現学習に関する研究が急増しています。
ただし、現在の研究では通常、リカレント ニューラル ネットワーク (RNN) を使用してグラフのダイナミクスをモデル化しており、大規模な時間グラフの計算とメモリのオーバーヘッドに深刻な影響を受けています。
これまでのところ、大規模な時間グラフでの動的グラフ表現学習のスケーラビリティは依然として大きな課題の 1 つです。
この論文では、時間グラフの時間パターンと構造パターンを効率的にキャプチャするためのスケーラブルなフレームワーク、つまり SpikeNet を紹介します。
私たちは、RNN の代わりにスパイキング ニューラル ネットワーク (SNN) を使用して時間グラフの進化するダイナミクスを捕捉できるという新しい方向性を模索しています。
RNN の低電力代替として、SNN はグラフのダイナミクスをニューロン集団のスパイク列として明示的にモデル化し、効率的な方法でスパイクベースの伝播を可能にします。
3 つの現実世界の大規模な時間グラフ データセットでの実験では、SpikeNet が時間ノード分類タスクで強力なベースラインよりも低い計算コストで優れたパフォーマンスを発揮することが実証されました。
特に、SpikeNet は、パラメーターと計算オーバーヘッドを大幅に削減して、大規模な時間グラフ (270 万のノードと 1390 万のエッジ) に一般化します。私たちのコードは \url{https://github.com/EdisonLeeeee/SpikeNet} で公開されています。

要約(オリジナル)

Recent years have seen a surge in research on dynamic graph representation learning, which aims to model temporal graphs that are dynamic and evolving constantly over time. However, current work typically models graph dynamics with recurrent neural networks (RNNs), making them suffer seriously from computation and memory overheads on large temporal graphs. So far, scalability of dynamic graph representation learning on large temporal graphs remains one of the major challenges. In this paper, we present a scalable framework, namely SpikeNet, to efficiently capture the temporal and structural patterns of temporal graphs. We explore a new direction in that we can capture the evolving dynamics of temporal graphs with spiking neural networks (SNNs) instead of RNNs. As a low-power alternative to RNNs, SNNs explicitly model graph dynamics as spike trains of neuron populations and enable spike-based propagation in an efficient way. Experiments on three large real-world temporal graph datasets demonstrate that SpikeNet outperforms strong baselines on the temporal node classification task with lower computational costs. Particularly, SpikeNet generalizes to a large temporal graph (2.7M nodes and 13.9M edges) with significantly fewer parameters and computation overheads.Our code is publicly available at \url{https://github.com/EdisonLeeeee/SpikeNet}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google