KAA: Kolmogorov-Arnold Attention for Enhancing Attentive Graph Neural Networks

要約

注意メカニズムを備えたグラフニューラルネットワーク（GNNS）は、しばしば注意深いGNNと呼ばれ、近年、高度なGNNモデルで顕著なパラダイムとして浮上しています。
ただし、ネイバーノードをスコアリングする重要なプロセスを理解することは限られたままであり、多くの既存の注意深いGNNのパフォーマンスの低下につながります。
この論文では、現在の注意力のGNNのスコアリング機能を統合し、Kolmogorov-Arnold Network（Kan）アーキテクチャをスコアリングプロセスに統合するKolmogorov-Arnoldの注意（KAA）を提案します。
KAAは、全面的にスコアリング機能のパフォーマンスを向上させ、ほぼすべての既存の丁寧なGNNに適用できます。
KAAの表現力を他のスコアリング関数と比較するために、最大ランキング距離（MRD）を導入して、ノードの重要性のランキングエラーの上限を定量的に推定します。
私たちの分析により、幅と深さに対する限られたパラメーターと制約の下で、線形変換ベースとMLPベースのスコアリング関数の両方が有限の表現力を示すことが明らかになりました。
対照的に、提案されたKAAは、ゼロオーダーBスプライン関数によってパラメーター化された単一層KANでさえ、ほぼ無限の表現力を示しています。
さまざまなバックボーンモデルを使用したノードレベルとグラフレベルの両方のタスクでの広範な実験は、KAAが強化したスコアリング機能が一貫して元のカウンターパートを上回り、場合によっては20％以上のパフォーマンスの改善を達成することを示しています。

要約(オリジナル)

Graph neural networks (GNNs) with attention mechanisms, often referred to as attentive GNNs, have emerged as a prominent paradigm in advanced GNN models in recent years. However, our understanding of the critical process of scoring neighbor nodes remains limited, leading to the underperformance of many existing attentive GNNs. In this paper, we unify the scoring functions of current attentive GNNs and propose Kolmogorov-Arnold Attention (KAA), which integrates the Kolmogorov-Arnold Network (KAN) architecture into the scoring process. KAA enhances the performance of scoring functions across the board and can be applied to nearly all existing attentive GNNs. To compare the expressive power of KAA with other scoring functions, we introduce Maximum Ranking Distance (MRD) to quantitatively estimate their upper bounds in ranking errors for node importance. Our analysis reveals that, under limited parameters and constraints on width and depth, both linear transformation-based and MLP-based scoring functions exhibit finite expressive power. In contrast, our proposed KAA, even with a single-layer KAN parameterized by zero-order B-spline functions, demonstrates nearly infinite expressive power. Extensive experiments on both node-level and graph-level tasks using various backbone models show that KAA-enhanced scoring functions consistently outperform their original counterparts, achieving performance improvements of over 20% in some cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google