KAN or MLP: A Fairer Comparison

要約

この論文は新しい方法を紹介するものではありません。
代わりに、機械学習、コンピューター ビジョン、音声処理、自然言語処理、記号数式表現など、さまざまなタスクにわたる KAN モデルと MLP モデルのより公平かつ包括的な比較を提供します。
具体的には、パラメータと FLOP の数を制御して、KAN と MLP のパフォーマンスを比較します。
私たちの主な観察は、シンボリック数式表現タスクを除いて、MLP が一般的に KAN よりも優れているということです。
我々はまた、KAN に関するアブレーション研究を実施し、記号式表現におけるその利点が主にその B スプライン活性化関数に由来していることを発見しました。
B スプラインを MLP に適用すると、シンボリック数式表現のパフォーマンスが大幅に向上し、KAN を上回るかそれに匹敵します。
ただし、MLP がすでに KAN よりも優れている他のタスクでは、B-スプラインは MLP のパフォーマンスを大幅に向上させません。
さらに、標準的なクラス増分継続学習環境では、KAN の忘却問題が MLP の忘却問題よりも深刻であることがわかりましたが、これは KAN の論文で報告された調査結果とは異なります。
これらの結果が、KAN およびその他の MLP 代替案に関する将来の研究に洞察を提供することを願っています。
プロジェクトリンク: https://github.com/yu-rp/KANbeFair

要約(オリジナル)

This paper does not introduce a novel method. Instead, it offers a fairer and more comprehensive comparison of KAN and MLP models across various tasks, including machine learning, computer vision, audio processing, natural language processing, and symbolic formula representation. Specifically, we control the number of parameters and FLOPs to compare the performance of KAN and MLP. Our main observation is that, except for symbolic formula representation tasks, MLP generally outperforms KAN. We also conduct ablation studies on KAN and find that its advantage in symbolic formula representation mainly stems from its B-spline activation function. When B-spline is applied to MLP, performance in symbolic formula representation significantly improves, surpassing or matching that of KAN. However, in other tasks where MLP already excels over KAN, B-spline does not substantially enhance MLP’s performance. Furthermore, we find that KAN’s forgetting issue is more severe than that of MLP in a standard class-incremental continual learning setting, which differs from the findings reported in the KAN paper. We hope these results provide insights for future research on KAN and other MLP alternatives. Project link: https://github.com/yu-rp/KANbeFair

arxiv情報

提供元, 利用サービス

arxiv.jp, Google