KAGNNs: Kolmogorov-Arnold Networks meet Graph Learning

要約

近年、グラフ ニューラル ネットワーク (GNN) がノードとグラフ表現を学習するための事実上のツールとなっています。
ほとんどの GNN は通常、一連の近傍集約 (別名メッセージ パッシング) 層で構成されます。
これらの各レイヤー内で、各ノードの表現は、前のレイヤーでの隣接表現の集約と変換から更新されます。
メッセージ パッシング GNN の表現力の上限は、MLP の汎用近似機能により、変換として MLP を使用することで達成されました。
ただし、MLP にはよく知られた制限があり、その制限が最近コルモゴロフ アーノルド ネットワーク (KAN) の導入の動機となっています。
KAN はコルモゴロフ-アーノルド表現定理に依存しており、MLP の有望な代替手段となります。
この研究では、グラフ学習タスクにおける KAN のパフォーマンスと MLP のパフォーマンスを比較します。
私たちはノード分類、グラフ分類、グラフ回帰データセットに関して広範な実験を実行します。
私たちの暫定的な結果は、KAN が分類タスクでは MLP と同等である一方、グラフ回帰タスクでは明らかに優位性があるようであることを示しています。

要約(オリジナル)

In recent years, Graph Neural Networks (GNNs) have become the de facto tool for learning node and graph representations. Most GNNs typically consist of a sequence of neighborhood aggregation (a.k.a., message passing) layers. Within each of these layers, the representation of each node is updated from an aggregation and transformation of its neighbours representations at the previous layer. The upper bound for the expressive power of message passing GNNs was reached through the use of MLPs as a transformation, due to their universal approximation capabilities. However, MLPs suffer from well-known limitations, which recently motivated the introduction of Kolmogorov-Arnold Networks (KANs). KANs rely on the Kolmogorov-Arnold representation theorem, rendering them a promising alternative to MLPs. In this work, we compare the performance of KANs against that of MLPs in graph learning tasks. We perform extensive experiments on node classification, graph classification and graph regression datasets. Our preliminary results indicate that while KANs are on-par with MLPs in classification tasks, they seem to have a clear advantage in the graph regression tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google