KANICE: Kolmogorov-Arnold Networks with Interactive Convolutional Elements

要約

畳み込みニューラル ネットワーク (CNN) とコルモゴロフ アーノルド ネットワーク (KAN) の原理を組み合わせた新しいニューラル アーキテクチャである KANICE (Kolmogorov-Arnold Networks with Interactive Convolutional Elements) を紹介します。
KANICE は、対話型畳み込みブロック (ICB) と KAN 線形層を CNN フレームワークに統合します。
これは、KAN の汎用近似機能と ICB の適応特徴学習を活用します。
KANICE は、コルモゴロフ-アーノルド表現定理に基づいて動的なコンテキスト依存の特徴抽出を可能にしながら、複雑な非線形データ関係をキャプチャします。
MNIST、Fashion-MNIST、EMNIST、SVHN の 4 つのデータセットで KANICE を評価し、標準 CNN、CNN-KAN ハイブリッド、ICB バリアントと比較しました。
KANICE は常にベースライン モデルを上回り、MNIST データセットでは 99.35%、SVHN データセットでは 90.05% の精度を達成しました。
さらに、効率性を追求したコンパクトタイプのKANICE-miniをご紹介します。
包括的なアブレーション研究により、KANICE-mini は大幅に少ないパラメータで KANICE と同等のパフォーマンスを達成できることが実証されています。
KANICE-mini は、KANICE の 25,432,000 パラメータと比較して、2,337,828 パラメータの SVHN で 90.00% の精度に達しました。
この研究は、画像分類タスクにおけるパフォーマンスと計算効率のバランスをとる上での KAN ベースのアーキテクチャの可能性を強調しています。
私たちの研究は、適応ニューラル ネットワークの研究に貢献し、数学的定理を深層学習アーキテクチャに統合し、モデルの複雑さとパフォーマンスの間のトレードオフを調査し、コンピューター ビジョンとパターン認識を進歩させています。
この論文のソース コードは、GitHub リポジトリ (https://github.com/m-ferdaus/kanice) を通じて公開されています。

要約(オリジナル)

We introduce KANICE (Kolmogorov-Arnold Networks with Interactive Convolutional Elements), a novel neural architecture that combines Convolutional Neural Networks (CNNs) with Kolmogorov-Arnold Network (KAN) principles. KANICE integrates Interactive Convolutional Blocks (ICBs) and KAN linear layers into a CNN framework. This leverages KANs’ universal approximation capabilities and ICBs’ adaptive feature learning. KANICE captures complex, non-linear data relationships while enabling dynamic, context-dependent feature extraction based on the Kolmogorov-Arnold representation theorem. We evaluated KANICE on four datasets: MNIST, Fashion-MNIST, EMNIST, and SVHN, comparing it against standard CNNs, CNN-KAN hybrids, and ICB variants. KANICE consistently outperformed baseline models, achieving 99.35% accuracy on MNIST and 90.05% on the SVHN dataset. Furthermore, we introduce KANICE-mini, a compact variant designed for efficiency. A comprehensive ablation study demonstrates that KANICE-mini achieves comparable performance to KANICE with significantly fewer parameters. KANICE-mini reached 90.00% accuracy on SVHN with 2,337,828 parameters, compared to KANICE’s 25,432,000. This study highlights the potential of KAN-based architectures in balancing performance and computational efficiency in image classification tasks. Our work contributes to research in adaptive neural networks, integrates mathematical theorems into deep learning architectures, and explores the trade-offs between model complexity and performance, advancing computer vision and pattern recognition. The source code for this paper is publicly accessible through our GitHub repository (https://github.com/m-ferdaus/kanice).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google