SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions

要約

最近の研究により、コルモゴロフ・アーノルド ネットワーク (KAN) の形式で、従来の多層パーセプトロン ニューラル ネットワークに代わるネットワークが確立されました。
一般的な KAN フレームワークは、計算グラフのエッジで学習可能な活性化関数を使用し、その後ノードでの合計を使用します。
元の実装における学習可能なエッジ活性化関数は、基底スプライン関数 (B-Spline) です。
ここでは、B-Spline 活性化関数の学習可能なグリッドが再重み付けされた正弦関数のグリッドに置き換えられるモデルを提示します。
これにより、MNIST ベンチマークにおける B-Spline KAN モデルと同等または同等の数値パフォーマンスが得られ、同時に 4 ～ 8 倍程度の大幅な速度向上がもたらされることを示します。

要約(オリジナル)

Recent work has established an alternative to traditional multi-layer perceptron neural networks in the form of Kolmogorov-Arnold Networks (KAN). The general KAN framework uses learnable activation functions on the edges of the computational graph followed by summation on nodes. The learnable edge activation functions in the original implementation are basis spline functions (B-Spline). Here, we present a model in which learnable grids of B-Spline activation functions are replaced by grids of re-weighted sine functions. We show that this leads to better or comparable numerical performance to B-Spline KAN models on the MNIST benchmark, while also providing a substantial speed increase on the order of 4-8 times.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google