rKAN: Rational Kolmogorov-Arnold Networks

要約

コルモゴロフ-アーノルド ネットワーク (KAN) の開発は、深層学習における従来の多層パーセプトロンからの大きな変化を示しています。
当初、KAN は主要な基底関数として B スプライン曲線を採用していましたが、その固有の複雑さが実装上の課題を引き起こしました。
その結果、研究者はウェーブレット、多項式、分数関数などの代替基底関数を探索してきました。
この研究では、KAN の新しい基底関数として有理関数の使用を検討します。
我々は、パデ近似と訓練可能な基底関数としての有理ヤコビ関数に基づく 2 つの異なるアプローチを提案し、有理 KAN (rKAN) を確立します。
次に、関数近似における実用性と有効性を実証するために、さまざまな深層学習および物理学に基づいたタスクにおける rKAN のパフォーマンスを評価します。

要約(オリジナル)

The development of Kolmogorov-Arnold networks (KANs) marks a significant shift from traditional multi-layer perceptrons in deep learning. Initially, KANs employed B-spline curves as their primary basis function, but their inherent complexity posed implementation challenges. Consequently, researchers have explored alternative basis functions such as Wavelets, Polynomials, and Fractional functions. In this research, we explore the use of rational functions as a novel basis function for KANs. We propose two different approaches based on Pade approximation and rational Jacobi functions as trainable basis functions, establishing the rational KAN (rKAN). We then evaluate rKAN’s performance in various deep learning and physics-informed tasks to demonstrate its practicality and effectiveness in function approximation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google