Graph Wave Networks

要約

ダイナミクスモデリングは、グラフニューラルネットワーク（GNNS）のメッセージパッシング（MP）の新しいパラダイムとして導入されています。
既存の方法は、ノード間のMPを熱拡散プロセスとして考慮し、熱方程式を活用して、埋め込み空間内のノードの時間的進化をモデル化します。
ただし、熱方程式は、グラフ信号処理におけるグラフ信号の波の性質をほとんど表すことはできません。
それに加えて、熱方程式は本質的に、数値の溶液が安定性が低く、非効率的なモデルトレーニングにつながる時間の最初の部分誘導体を含む部分微分方程式（PDE）です。
この論文では、グラフ信号は本質的に固有ベクトルの形で一連の波の重ね合わせと見なすことができる波線信号であるため、MPのより多くの波の詳細を描写したいと思います。
これにより、MPを空間内の波シグナルの時間的進化をキャプチャする波動伝播プロセスと見なすようになります。
物理学の波方程式に基づいて、グラフ波方程式を革新的に開発して、グラフの波の伝播を活用します。
詳細には、グラフ波方程式が従来のスペクトルGNNに接続され、さまざまなラプラシアンに基づいてグラフ波ネットワークの設計を促進し、スペクトルGNNの性能を向上させることができることを示します。
さらに、グラフ波方程式は、特に時間の2番目の部分誘導体を含むPDEであり、これは、最初の部分微分を含む熱方程式よりもグラフの安定性が強い。
さらに、グラフ波方程式から導出された数値解が常に安定していることを理論的に証明し、そのパフォーマンスを確保しながらモデル効率を大幅に向上させることができます。
広範な実験では、GWNがベンチマークデータセットでSOTAと効率的なパフォーマンスを達成し、過剰な滑走やヘテロフィリーなどの挑戦的なグラフの問題に対処する際に優れたパフォーマンスを示すことが示されています。

要約(オリジナル)

Dynamics modeling has been introduced as a novel paradigm in message passing (MP) of graph neural networks (GNNs). Existing methods consider MP between nodes as a heat diffusion process, and leverage heat equation to model the temporal evolution of nodes in the embedding space. However, heat equation can hardly depict the wave nature of graph signals in graph signal processing. Besides, heat equation is essentially a partial differential equation (PDE) involving a first partial derivative of time, whose numerical solution usually has low stability, and leads to inefficient model training. In this paper, we would like to depict more wave details in MP, since graph signals are essentially wave signals that can be seen as a superposition of a series of waves in the form of eigenvector. This motivates us to consider MP as a wave propagation process to capture the temporal evolution of wave signals in the space. Based on wave equation in physics, we innovatively develop a graph wave equation to leverage the wave propagation on graphs. In details, we demonstrate that the graph wave equation can be connected to traditional spectral GNNs, facilitating the design of graph wave networks based on various Laplacians and enhancing the performance of the spectral GNNs. Besides, the graph wave equation is particularly a PDE involving a second partial derivative of time, which has stronger stability on graphs than the heat equation that involves a first partial derivative of time. Additionally, we theoretically prove that the numerical solution derived from the graph wave equation are constantly stable, enabling to significantly enhance model efficiency while ensuring its performance. Extensive experiments show that GWNs achieve SOTA and efficient performance on benchmark datasets, and exhibit outstanding performance in addressing challenging graph problems, such as over-smoothing and heterophily.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google