GKAN: Graph Kolmogorov-Arnold Networks

要約

最近提案されたコルモゴロフ-アーノルド ネットワーク (KAN) の原理をグラフ構造データに拡張した革新的なニューラル ネットワーク アーキテクチャであるグラフ コルモゴロフ-アーノルド ネットワーク (GKAN) を紹介します。
KAN の固有の特性、特に固定線形重みの代わりに学習可能な一変量関数を使用することにより、グラフベースの学習タスク用の強力なモデルを開発します。
固定の畳み込みアーキテクチャに依存する従来のグラフ畳み込みネットワーク (GCN) とは異なり、GKAN は層間に学習可能なスプラインベースの関数を実装し、グラフ構造全体で情報が処理される方法を変革します。
KAN レイヤーを GKAN に組み込む 2 つの異なる方法を紹介します。アーキテクチャ 1 — 学習可能な関数が集約後に入力特徴に適用される場合と、アーキテクチャ 2 — 学習可能な関数が集約前に入力特徴に適用される場合です。
実世界のデータセット (Cora) に対する半教師ありグラフ学習タスクを使用して、GKAN を経験的に評価します。
一般にアーキテクチャのパフォーマンスが優れていることがわかりました。
従来の GCN モデルと比較して、GKAN はグラフ上の半教師あり学習タスクにおいてより高い精度を達成することがわかりました。
たとえば、100 個の特徴を考慮した場合、GCN の精度は 53.5 ですが、同等の数のパラメータを持つ GKAN の精度は 61.76 です。
200 個の特徴を備えた GCN の精度は 61.24 ですが、同等の数のパラメーターを備えた GKAN の精度は 67.66 です。
また、隠れノードの数、グリッド サイズ、スプラインの多項式次数などのさまざまなパラメーターが GKAN のパフォーマンスに及ぼす影響に関する結果も示します。

要約(オリジナル)

We introduce Graph Kolmogorov-Arnold Networks (GKAN), an innovative neural network architecture that extends the principles of the recently proposed Kolmogorov-Arnold Networks (KAN) to graph-structured data. By adopting the unique characteristics of KANs, notably the use of learnable univariate functions instead of fixed linear weights, we develop a powerful model for graph-based learning tasks. Unlike traditional Graph Convolutional Networks (GCNs) that rely on a fixed convolutional architecture, GKANs implement learnable spline-based functions between layers, transforming the way information is processed across the graph structure. We present two different ways to incorporate KAN layers into GKAN: architecture 1 — where the learnable functions are applied to input features after aggregation and architecture 2 — where the learnable functions are applied to input features before aggregation. We evaluate GKAN empirically using a semi-supervised graph learning task on a real-world dataset (Cora). We find that architecture generally performs better. We find that GKANs achieve higher accuracy in semi-supervised learning tasks on graphs compared to the traditional GCN model. For example, when considering 100 features, GCN provides an accuracy of 53.5 while a GKAN with a comparable number of parameters gives an accuracy of 61.76; with 200 features, GCN provides an accuracy of 61.24 while a GKAN with a comparable number of parameters gives an accuracy of 67.66. We also present results on the impact of various parameters such as the number of hidden nodes, grid-size, and the polynomial-degree of the spline on the performance of GKAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google