LON-GNN: Spectral GNNs with Learnable Orthonormal Basis

要約

タイトル：LON-GNN：可学習な直交正規基底を持つスペクトルGNN
要約：
– 最近のスペクトルグラフニューラルネットワーク（GNN）手法は、可学習係数を持つ多項式基底を使用し、多くのノードレベルタスクでトップクラスのパフォーマンスを実現しています。
– これらの手法は、様々な種類の多項式基底を探索していますが、それぞれの手法は固定の多項式基底を採用しており、与えられたグラフにとって最適な選択肢であるとは限りません。
– さらに、これらの手法の不十分な正則化戦略と非正規化基底に根ざした、いわゆる過剰適合問題があることを特定しました。
– 本論文では、これらの2つの問題を最初に取り組ります。ジャコビ多項式を活用し、可学習な直交正規基底を持つ新しいスペクトルGNN、LON-GNNを設計し、係数を正則化することが学習されたフィルタ関数のノルムを正則化することと同等であることを証明します。
– LON-GNNの適合能力と一般化能力を評価するために多様なグラフデータセットで実験を行い、その結果は優越性を示しています。

要約(オリジナル)

In recent years, a plethora of spectral graph neural networks (GNN) methods have utilized polynomial basis with learnable coefficients to achieve top-tier performances on many node-level tasks. Although various kinds of polynomial bases have been explored, each such method adopts a fixed polynomial basis which might not be the optimal choice for the given graph. Besides, we identify the so-called over-passing issue of these methods and show that it is somewhat rooted in their less-principled regularization strategy and unnormalized basis. In this paper, we make the first attempts to address these two issues. Leveraging Jacobi polynomials, we design a novel spectral GNN, LON-GNN, with Learnable OrthoNormal bases and prove that regularizing coefficients becomes equivalent to regularizing the norm of learned filter function now. We conduct extensive experiments on diverse graph datasets to evaluate the fitting and generalization capability of LON-GNN, where the results imply its superiority.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI