Spiking Graph Neural Network on Riemannian Manifolds

要約

グラフ ニューラル ネットワーク (GNN) は、典型的な非ユークリッド構造であるグラフ上で学習するための主要なソリューションとなっています。
人工ニューロン ネットワーク (ANN) で構築された従来の GNN は、高い計算量とエネルギー消費を犠牲にして優れたパフォーマンスを達成しました。
並行して、脳のようなスパイキング ニューロンを備えたスパイキング GNN は、エネルギー効率の高さから研究の注目を集めています。
これまでのところ、既存のスパイク GNN は、構造幾何学を無視してユークリッド空間のグラフを考慮しており、サロゲート勾配による時間逆伝播 (BPTT) による高遅延の問題に悩まされています。
前述の問題を考慮して、私たちはリーマン多様体上のスパイキング GNN の探索に専念し、多様体値スパイキング GNN (MSG) を提示します。
特に、微分同相写像を使用して測地的に完全な多様体上の新しいスパイク ニューロンを設計し、スパイクに関する BPTT が多様体を介した提案された微分によって置き換えられるようにします。
理論的には、MSG が多様体常微分方程式のソルバーを近似することを示します。
一般的なグラフに関する広範な実験により、提案された MSG が以前のスパイキング GNN よりも優れたパフォーマンスを達成し、従来の GNN よりもエネルギー効率が優れていることが示されました。

要約(オリジナル)

Graph neural networks (GNNs) have become the dominant solution for learning on graphs, the typical non-Euclidean structures. Conventional GNNs, constructed with the Artificial Neuron Network (ANN), have achieved impressive performance at the cost of high computation and energy consumption. In parallel, spiking GNNs with brain-like spiking neurons are drawing increasing research attention owing to the energy efficiency. So far, existing spiking GNNs consider graphs in Euclidean space, ignoring the structural geometry, and suffer from the high latency issue due to Back-Propagation-Through-Time (BPTT) with the surrogate gradient. In light of the aforementioned issues, we are devoted to exploring spiking GNN on Riemannian manifolds, and present a Manifold-valued Spiking GNN (MSG). In particular, we design a new spiking neuron on geodesically complete manifolds with the diffeomorphism, so that BPTT regarding the spikes is replaced by the proposed differentiation via manifold. Theoretically, we show that MSG approximates a solver of the manifold ordinary differential equation. Extensive experiments on common graphs show the proposed MSG achieves superior performance to previous spiking GNNs and energy efficiency to conventional GNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google