Wav-KAN: Wavelet Kolmogorov-Arnold Networks

要約

このペーパーでは、Wavlet Kolmogorov-Arnold Networks (Wav-KAN) フレームワークを利用して解釈性とパフォーマンスを向上させる革新的なニューラル ネットワーク アーキテクチャである Wav-KAN を紹介します。
従来の多層パーセプトロン (MLP) や、Spl-KAN などの最近の進歩でさえ、解釈可能性、トレーニング速度、堅牢性、計算効率、パフォーマンスに関する課題に直面しています。
Wav-KAN は、コルモゴロフ-アーノルド ネットワーク構造にウェーブレット関数を組み込むことでこれらの制限に対処し、ネットワークが入力データの高周波成分と低周波成分の両方を効率的にキャプチャできるようにします。
ウェーブレット ベースの近似では、直交基底または半直交基底が使用され、基礎となるデータ構造の正確な表現とノイズへの過剰適合の回避との間のバランスが維持されます。
連続ウェーブレット変換 (CWT) には多くの可能性がありますが、多重解像度解析には離散ウェーブレット変換 (DWT) も採用しました。これにより、詳細を見つけるための前のステップを再計算する必要がなくなりました。
水が容器の形状に従うのと同様に、Wav-KAN はデータ構造に適応し、その結果、Spl-KAN や MLP と比較して精度が向上し、トレーニング速度が速くなり、堅牢性が向上します。
私たちの結果は、解釈可能で高性能なニューラル ネットワークを開発するための強力なツールとして、さまざまな分野に応用できる Wav-KAN の可能性を浮き彫りにしています。
この研究は、PyTorch や TensorFlow などのフレームワークでの Wav-KAN のさらなる探索と実装のための準備を整え、KAN のウェーブレットを普遍近似理論 (UAT) の ReLU やシグモイドのような活性化関数と同じくらい普及させることを目指しています。
シミュレーションを複製するコードは、https://github.com/zavareh1/Wav-KAN で入手できます。

要約(オリジナル)

In this paper, we introduce Wav-KAN, an innovative neural network architecture that leverages the Wavelet Kolmogorov-Arnold Networks (Wav-KAN) framework to enhance interpretability and performance. Traditional multilayer perceptrons (MLPs) and even recent advancements like Spl-KAN face challenges related to interpretability, training speed, robustness, computational efficiency, and performance. Wav-KAN addresses these limitations by incorporating wavelet functions into the Kolmogorov-Arnold network structure, enabling the network to capture both high-frequency and low-frequency components of the input data efficiently. Wavelet-based approximations employ orthogonal or semi-orthogonal basis and maintain a balance between accurately representing the underlying data structure and avoiding overfitting to the noise. While continuous wavelet transform (CWT) has a lot of potentials, we also employed discrete wavelet transform (DWT) for multiresolution analysis, which obviated the need for recalculation of the previous steps in finding the details. Analogous to how water conforms to the shape of its container, Wav-KAN adapts to the data structure, resulting in enhanced accuracy, faster training speeds, and increased robustness compared to Spl-KAN and MLPs. Our results highlight the potential of Wav-KAN as a powerful tool for developing interpretable and high-performance neural networks, with applications spanning various fields. This work sets the stage for further exploration and implementation of Wav-KAN in frameworks such as PyTorch and TensorFlow, aiming to make wavelets in KAN as widespread as activation functions like ReLU and sigmoid in universal approximation theory (UAT). The codes to replicate the simulations are available at https://github.com/zavareh1/Wav-KAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google