Dynamic Spiking Framework for Graph Neural Networks

要約

スパイキング ニューラル ネットワーク (SNN) とグラフ ニューラル ネットワーク (GNN) の統合は、グラフで表される非ユークリッド データの処理における低消費電力と高効率により、徐々に注目を集めています。
ただし、一般的な問題として、動的グラフ表現の学習は、高い複雑性や大きなメモリ オーバーヘッドなどの課題に直面しています。
現在の研究では、効率的なトレーニングのために連続的な特徴の代わりにバイナリ特徴を使用することでリカレント ニューラル ネットワーク (RNN) の代わりに SNN を使用することが多く、これによりグラフ構造情報が見落とされ、伝播中に詳細が失われる可能性があります。
さらに、動的スパイク モデルを最適化するには、通常、タイム ステップ全体にわたる情報の伝播が必要となり、メモリ要件が増加します。
これらの課題に対処するために、\underline{Dy}namic \underline{S}p\underline{i}king \underline{G}raph \underline{N}eural Networks (\method{}) という名前のフレームワークを紹介します。
情報損失の問題を軽減するために、 \method{} は情報補償のために初期層の情報を最後の層に直接伝播します。
メモリ要件に対応するために、順方向計算のまったく逆に依存しない、平衡状態に陰的な微分を適用します。
従来の陰的微分法は通常、静的な状況に使用されますが、 \method{} はそれを動的なグラフ設定に拡張します。
3 つの大規模な現実世界の動的グラフ データセットに対する広範な実験により、より低い計算コストで動的ノード分類タスクに対する \method{} の有効性が検証されています。

要約(オリジナル)

The integration of Spiking Neural Networks (SNNs) and Graph Neural Networks (GNNs) is gradually attracting attention due to the low power consumption and high efficiency in processing the non-Euclidean data represented by graphs. However, as a common problem, dynamic graph representation learning faces challenges such as high complexity and large memory overheads. Current work often uses SNNs instead of Recurrent Neural Networks (RNNs) by using binary features instead of continuous ones for efficient training, which would overlooks graph structure information and leads to the loss of details during propagation. Additionally, optimizing dynamic spiking models typically requires propagation of information across time steps, which increases memory requirements. To address these challenges, we present a framework named \underline{Dy}namic \underline{S}p\underline{i}king \underline{G}raph \underline{N}eural Networks (\method{}). To mitigate the information loss problem, \method{} propagates early-layer information directly to the last layer for information compensation. To accommodate the memory requirements, we apply the implicit differentiation on the equilibrium state, which does not rely on the exact reverse of the forward computation. While traditional implicit differentiation methods are usually used for static situations, \method{} extends it to the dynamic graph setting. Extensive experiments on three large-scale real-world dynamic graph datasets validate the effectiveness of \method{} on dynamic node classification tasks with lower computational costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google