Wav-KAN: Wavelet Kolmogorov-Arnold Networks

要約

このペーパーでは、Wavelet Kolmogorov-Arnold Networks (Wav-KAN) フレームワークを利用して解釈性とパフォーマンスを向上させる革新的なニューラル ネットワーク アーキテクチャである Wav-KAN を紹介します。
従来の多層パーセプトロン (MLP) や、Spl-KAN などの最近の進歩でさえ、解釈可能性、トレーニング速度、堅牢性、計算効率、パフォーマンスに関する課題に直面しています。
Wav-KAN は、コルモゴロフ-アーノルド ネットワーク構造にウェーブレット関数を組み込むことでこれらの制限に対処し、ネットワークが入力データの高周波成分と低周波成分の両方を効率的にキャプチャできるようにします。
ウェーブレット ベースの近似では、直交基底または半直交基底が使用され、基礎となるデータ構造の正確な表現とノイズへの過剰適合の回避との間のバランスも維持されます。
水が容器の形状に従うのと同様に、Wav-KAN はデータ構造に適応し、その結果、Spl-KAN や MLP と比較して精度が向上し、トレーニング速度が速くなり、堅牢性が向上します。
私たちの結果は、解釈可能で高性能なニューラル ネットワークを開発するための強力なツールとして、さまざまな分野に応用できる Wav-KAN の可能性を浮き彫りにしています。
この研究は、PyTorch、TensorFlow などのフレームワークでの Wav-KAN のさらなる探索と実装のための準備を整えるものであり、また、今日の ReLU やユニバーサル近似理論 (UAT) のシグモイドなどの活性化関数と同様に、広く使用されている KAN でのウェーブレットも作成します。

要約(オリジナル)

In this paper , we introduce Wav-KAN, an innovative neural network architecture that leverages the Wavelet Kolmogorov-Arnold Networks (Wav-KAN) framework to enhance interpretability and performance. Traditional multilayer perceptrons (MLPs) and even recent advancements like Spl-KAN face challenges related to interpretability, training speed, robustness, computational efficiency, and performance. Wav-KAN addresses these limitations by incorporating wavelet functions into the Kolmogorov-Arnold network structure, enabling the network to capture both high-frequency and low-frequency components of the input data efficiently. Wavelet-based approximations employ orthogonal or semi-orthogonal basis and also maintains a balance between accurately representing the underlying data structure and avoiding overfitting to the noise. Analogous to how water conforms to the shape of its container, Wav-KAN adapts to the data structure, resulting in enhanced accuracy, faster training speeds, and increased robustness compared to Spl-KAN and MLPs. Our results highlight the potential of Wav-KAN as a powerful tool for developing interpretable and high-performance neural networks, with applications spanning various fields. This work sets the stage for further exploration and implementation of Wav-KAN in frameworks such as PyTorch, TensorFlow, and also it makes wavelet in KAN in wide-spread usage like nowadays activation functions like ReLU, sigmoid in universal approximation theory (UAT).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google