KAN: Kolmogorov-Arnold Networks

要約

コルモゴロフ-アーノルド表現定理に触発されて、私たちは多層パーセプトロン (MLP) の有望な代替手段としてコルモゴロフ-アーノルド ネットワーク (KAN) を提案します。
MLP にはノード (「ニューロン」) 上に固定活性化関数がありますが、KAN にはエッジ (「重み」) 上に学習可能な活性化関数があります。
KAN には線形重みがまったくありません。すべての重みパラメータは、スプラインとしてパラメータ化された一変量関数に置き換えられます。
この一見単純な変更により、精度と解釈可能性の点で KAN が MLP よりも優れていることがわかります。
精度に関しては、はるかに小さい KAN が、データ フィッティングや PDE 解析において、はるかに大きな MLP と同等以上の精度を達成できます。
理論的にも経験的にも、KAN は MLP よりも高速なニューラル スケーリング則を備えています。
解釈しやすくするために、KAN は直感的に視覚化でき、人間のユーザーと簡単に対話できます。
数学と物理学の 2 つの例を通して、KAN は科学者が数学的および物理法則を (再) 発見するのを助ける有用な協力者であることが示されています。
要約すると、KAN は MLP の有望な代替手段であり、MLP に大きく依存している今日の深層学習モデルをさらに改善する機会をもたらします。

要約(オリジナル)

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes (‘neurons’), KANs have learnable activation functions on edges (‘weights’). KANs have no linear weights at all — every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today’s deep learning models which rely heavily on MLPs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google