HyperKAN: Kolmogorov-Arnold Networks make Hyperspectral Image Classificators Smarter

要約

従来のニューラル ネットワーク アーキテクチャでは、通常、特徴抽出段階に続く分類ブロックとして多層パーセプトロン (MLP) が使用されます。
ただし、コルモゴロフ-アーノルド ネットワーク (KAN) は MLP に代わる有望な代替手段であり、予測精度を向上させる可能性を提供します。
この論文では、従来のネットワークの線形層と畳み込み層を KAN ベースのネットワークに置き換えることを提案します。
これらの修正により、ハイパースペクトル リモート センシング画像のピクセルごとの分類精度を大幅に向上させることができました。
私たちは、ハイパースペクトル画像分類用に 7 つの異なるニューラル ネットワーク アーキテクチャを変更し、すべてのネットワークにわたって分類精度が大幅に向上することを観察しました。
この論文で検討されているアーキテクチャには、ベースライン MLP、最先端の 1D (1DCNN) および 3D 畳み込み (2 つの異なる 3DCNN、NM3DCNN)、トランスフォーマー (SSFTT) アーキテクチャ、および新しく提案された M1DCNN が含まれます。
スペクトル データのみを処理する畳み込みネットワークで最大の効果が得られ、KAN ベースの変換アーキテクチャを使用して最高の分類品質が達成されました。
すべての実験は、公開されている 7 つのハイパースペクトル データセットを使用して実施されました。
私たちのコードは https://github.com/f-neumann77/HyperKAN で入手できます。

要約(オリジナル)

In traditional neural network architectures, a multilayer perceptron (MLP) is typically employed as a classification block following the feature extraction stage. However, the Kolmogorov-Arnold Network (KAN) presents a promising alternative to MLP, offering the potential to enhance prediction accuracy. In this paper, we propose the replacement of linear and convolutional layers of traditional networks with KAN-based counterparts. These modifications allowed us to significantly increase the per-pixel classification accuracy for hyperspectral remote-sensing images. We modified seven different neural network architectures for hyperspectral image classification and observed a substantial improvement in the classification accuracy across all the networks. The architectures considered in the paper include baseline MLP, state-of-the-art 1D (1DCNN) and 3D convolutional (two different 3DCNN, NM3DCNN), and transformer (SSFTT) architectures, as well as newly proposed M1DCNN. The greatest effect was achieved for convolutional networks working exclusively on spectral data, and the best classification quality was achieved using a KAN-based transformer architecture. All the experiments were conducted using seven openly available hyperspectral datasets. Our code is available at https://github.com/f-neumann77/HyperKAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google