Leveraging KANs for Expedient Training of Multichannel MLPs via Preconditioning and Geometric Refinement

要約

多層パーセプロン（MLP）は、さまざまな現代の深い学習フレームワークで使用される主力機械学習アーキテクチャです。
しかし、最近、Kolmogorov-Arnold Networks（KANS）は、特に科学的機械学習タスクでさまざまな問題で成功したため、ますます人気が高まっています。
この論文では、KANSとマルチチャネルMLPの関係を活用して、MLPをより速く訓練する方法に関する構造的な洞察を得ます。
Kanベース（1）は幾何学的なローカライズされたサポートを提供し、（2）は、leluベースで前処理された降下として機能し、全体的に迅速なトレーニングと精度の向上をもたらします。
私たちの結果は、自由ノットのスプラインKanアーキテクチャと、各重量テンソルのチャネル次元に沿って幾何学的に洗練されたMLPのクラスとの同等性を示しています。
この構造的等価性を活用して、マルチチャネルMLPアーキテクチャのトレーニングを劇的に加速する階層洗練スキームを定義します。
スプラインノットの$ 1 $ Dの場所を重量と同時にトレーニングできるようにすることで、さらに精度の改善が可能になります。
これらの進歩は、回帰と科学的機械学習のためのさまざまなベンチマーク例で実証されています。

要約(オリジナル)

Multilayer perceptrons (MLPs) are a workhorse machine learning architecture, used in a variety of modern deep learning frameworks. However, recently Kolmogorov-Arnold Networks (KANs) have become increasingly popular due to their success on a range of problems, particularly for scientific machine learning tasks. In this paper, we exploit the relationship between KANs and multichannel MLPs to gain structural insight into how to train MLPs faster. We demonstrate the KAN basis (1) provides geometric localized support, and (2) acts as a preconditioned descent in the ReLU basis, overall resulting in expedited training and improved accuracy. Our results show the equivalence between free-knot spline KAN architectures, and a class of MLPs that are refined geometrically along the channel dimension of each weight tensor. We exploit this structural equivalence to define a hierarchical refinement scheme that dramatically accelerates training of the multi-channel MLP architecture. We show further accuracy improvements can be had by allowing the $1$D locations of the spline knots to be trained simultaneously with the weights. These advances are demonstrated on a range of benchmark examples for regression and scientific machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google