GNN-SKAN: Harnessing the Power of SwallowKAN to Advance Molecular Representation Learning with GNNs

要約

効果的な分子表現の学習は、分子特性の予測と創薬を進める上で極めて重要です。
主流の分子表現学習アプローチは、グラフ ニューラル ネットワーク (GNN) に基づいています。
しかし、これらのアプローチは、不十分なアノテーション、分子の多様性、および重要な構造詳細の損失につながる過剰な潰しなどのアーキテクチャ上の制限という 3 つの重大な課題に直面しています。
これらの課題に対処するために、小規模な AI + サイエンス タスクにおける堅牢なデータ フィッティング機能と高精度で知られるコルモゴロフ-アーノルド ネットワーク (KAN) を統合する新しいクラスの GNN を導入します。
KAN を GNN に組み込むことにより、私たちのモデルは分子構造の表現を強化します。
私たちは、非線形ニューロンのコアとして適応放射基底関数 (RBF) を採用する SwallowKAN (SKAN) と呼ばれるバリアントを使用して、このアプローチをさらに前進させます。
この革新により、計算効率と多様な分子構造への適応性の両方が向上します。
SKAN の強みを基にして、新しいクラスの GNN、GNN-SKAN、およびその拡張バリアントである GNN-SKAN+ を提案します。GNN-SKAN+ には、パフォーマンスをさらに向上させるために SKAN ベースの分類器が組み込まれています。
私たちの知る限り、これは分子表現学習用に調整された GNN アーキテクチャに KAN を統合する最初の研究です。
6 つの分類データセット、6 つの回帰データセット、および 4 つの少数ショット学習データセットにわたる実験により、私たちのアプローチが精度と計算コストの点で新しい最先端のパフォーマンスを達成することが実証されました。

要約(オリジナル)

Effective molecular representation learning is crucial for advancing molecular property prediction and drug design. Mainstream molecular representation learning approaches are based on Graph Neural Networks (GNNs). However, these approaches struggle with three significant challenges: insufficient annotations, molecular diversity, and architectural limitations such as over-squashing, which leads to the loss of critical structural details. To address these challenges, we introduce a new class of GNNs that integrates the Kolmogorov-Arnold Networks (KANs), known for their robust data-fitting capabilities and high accuracy in small-scale AI + Science tasks. By incorporating KANs into GNNs, our model enhances the representation of molecular structures. We further advance this approach with a variant called SwallowKAN (SKAN), which employs adaptive Radial Basis Functions (RBFs) as the core of the non-linear neurons. This innovation improves both computational efficiency and adaptability to diverse molecular structures. Building on the strengths of SKAN, we propose a new class of GNNs, GNN-SKAN, and its augmented variant, GNN-SKAN+, which incorporates a SKAN-based classifier to further boost performance. To our knowledge, this is the first work to integrate KANs into GNN architectures tailored for molecular representation learning. Experiments across 6 classification datasets, 6 regression datasets, and 4 few-shot learning datasets demonstrate that our approach achieves new state-of-the-art performance in terms of accuracy and computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google