MLPs and KANs for data-driven learning in physical problems: A performance comparison

要約

機械学習の問題としてそれらをキャストすることにより、部分微分方程式（PDE）を解くことに関心が高まっています。
最近、マルチ層パーセプトロン（MLP）に代表される従来のニューラルネットワークの代替として、コルモゴロフアーノルドネットワーク（KANS）を探索することに急増しました。
約束を示している間、物理ベースの問題における彼らのパフォーマンスの利点はほとんど未開拓のままです。
いくつかの重要な疑問が持続します。カンズは複雑な物理的ダイナミクスを捉えることができますか？
この作業では、PDESが支配する物理システムを学習するためのKansとMLPの比較研究を提示します。
ディープオペレーターネットワーク（DeepONET）およびグラフネットワークベースのシミュレータ（GNS）に適用された場合、パフォーマンスを評価し、スケールと複雑さが大きく異なる物理的な問題についてテストします。
コルモゴロフの表現定理からインスピレーションを得て、浅くて深いネットワークアーキテクチャを介したカンズとMLPの動作を調べます。
我々の結果は、KANSは深いニューラルネットワークとして構成されている場合、MLPを一貫して上回ることはないが、浅いネットワーク設定で優れた表現力を示し、テストケースよりもMLPを大幅に上回っていることを示しています。
これは、KANが有望な選択であり、物理システムを含むアプリケーションの効率と精度のバランスを提供することを示唆しています。

要約(オリジナル)

There is increasing interest in solving partial differential equations (PDEs) by casting them as machine learning problems. Recently, there has been a spike in exploring Kolmogorov-Arnold Networks (KANs) as an alternative to traditional neural networks represented by Multi-Layer Perceptrons (MLPs). While showing promise, their performance advantages in physics-based problems remain largely unexplored. Several critical questions persist: Can KANs capture complex physical dynamics and under what conditions might they outperform traditional architectures? In this work, we present a comparative study of KANs and MLPs for learning physical systems governed by PDEs. We assess their performance when applied in deep operator networks (DeepONet) and graph network-based simulators (GNS), and test them on physical problems that vary significantly in scale and complexity. Drawing inspiration from the Kolmogorov Representation Theorem, we examine the behavior of KANs and MLPs across shallow and deep network architectures. Our results reveal that although KANs do not consistently outperform MLPs when configured as deep neural networks, they demonstrate superior expressiveness in shallow network settings, significantly outpacing MLPs in accuracy over our test cases. This suggests that KANs are a promising choice, offering a balance of efficiency and accuracy in applications involving physical systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google