Chebyshev Polynomial-Based Kolmogorov-Arnold Networks: An Efficient Architecture for Nonlinear Function Approximation

要約

複雑な非線形関数を正確に近似することは、多くの科学および工学分野にわたる基本的な課題です。
多層パーセプトロン (MLP) などの従来のニューラル ネットワーク アーキテクチャは、高次元関数に存在する複雑なパターンや不規則性を効率的に捕捉するのに苦労することがよくあります。
この論文では、チェビシェフ コルモゴロフ-アーノルド ネットワーク (チェビシェフ KAN) について説明します。これは、コルモゴロフ-アーノルド表現定理に触発され、チェビシェフ多項式の強力な近似機能を組み込んだ新しいニューラル ネットワーク アーキテクチャです。
チェビシェフ KAN は、ネットワークのエッジでチェビシェフ多項式によってパラメータ化された学習可能な関数を利用することにより、関数近似タスクの柔軟性、効率、および解釈可能性を強化します。
我々は、桁分類、合成関数近似、およびフラクタル関数生成に関する実験を通じてチェビシェフ KAN の有効性を実証し、パラメータ効率と解釈可能性の点で従来の MLP よりもチェビシェフ KAN が優れていることを強調します。
アブレーション研究を含む当社の包括的な評価により、チェビシェフ KAN が非線形関数近似における長年の課題に対処できる可能性が確認され、さまざまな科学および工学用途におけるさらなる進歩への道が開かれます。

要約(オリジナル)

Accurate approximation of complex nonlinear functions is a fundamental challenge across many scientific and engineering domains. Traditional neural network architectures, such as Multi-Layer Perceptrons (MLPs), often struggle to efficiently capture intricate patterns and irregularities present in high-dimensional functions. This paper presents the Chebyshev Kolmogorov-Arnold Network (Chebyshev KAN), a new neural network architecture inspired by the Kolmogorov-Arnold representation theorem, incorporating the powerful approximation capabilities of Chebyshev polynomials. By utilizing learnable functions parametrized by Chebyshev polynomials on the network’s edges, Chebyshev KANs enhance flexibility, efficiency, and interpretability in function approximation tasks. We demonstrate the efficacy of Chebyshev KANs through experiments on digit classification, synthetic function approximation, and fractal function generation, highlighting their superiority over traditional MLPs in terms of parameter efficiency and interpretability. Our comprehensive evaluation, including ablation studies, confirms the potential of Chebyshev KANs to address longstanding challenges in nonlinear function approximation, paving the way for further advancements in various scientific and engineering applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google