AC-PKAN: Attention-Enhanced and Chebyshev Polynomial-Based Physics-Informed Kolmogorov-Arnold Networks

要約

Kolmogorov-Arnold Networks（Kans）は最近、部分微分方程式（PDE）を解くことを約束しています。
しかし、それらの元の定式化は計算上および記憶集中的であり、Chebyshev Type-IベースのKans（Chebyshev1kans）の導入を動機付けています。
Chebyshev1kansはVanilla Kansの建築よりも優れていましたが、私たちの厳密な理論分析は、彼らが依然としてランクの崩壊に苦しんでおり、最終的には表現力のある能力を制限していることを明らかにしています。
これらの制限を克服するために、ウェーブレット活性化MLPを学習可能なパラメーターと内部注意メカニズムと統合することにより、Chebyshev1kansを強化します。
この設計はフルランクのヤコビアンを保持しており、任意の順序のPDEにソリューションを近似できることを証明しています。
さらに、Chebyshev多項式の基礎によって導入された損失の不安定性と不均衡を軽減するために、勾配の規範と残留規範に応じて個々の損失項を動的に再重視する残留勾配の注意（RGA）メカニズムを外部的に組み込みます。
内部および外部の注意を共同で活用することにより、AC-PKANを提示します。AC-PKANは、弱く監視されている物理学に基づいたニューラルネットワーク（PINN）の強化を構成する新しいアーキテクチャを提示し、KANの表現力を拡張します。
3つのドメインにわたる9つのベンチマークタスクからの実験結果は、AC-PKANがPinnsformerなどの最新モデルを常に上回ったり一致させたり、ゼロダタまたはデータスパーリジームの複雑な現実世界のエンジニアリング問題を解決するための非常に効果的なツールとして確立することを示しています。
コードは、受け入れられると公開されます。

要約(オリジナル)

Kolmogorov-Arnold Networks (KANs) have recently shown promise for solving partial differential equations (PDEs). Yet their original formulation is computationally and memory intensive, motivating the introduction of Chebyshev Type-I-based KANs (Chebyshev1KANs). Although Chebyshev1KANs have outperformed the vanilla KANs architecture, our rigorous theoretical analysis reveals that they still suffer from rank collapse, ultimately limiting their expressive capacity. To overcome these limitations, we enhance Chebyshev1KANs by integrating wavelet-activated MLPs with learnable parameters and an internal attention mechanism. We prove that this design preserves a full-rank Jacobian and is capable of approximating solutions to PDEs of arbitrary order. Furthermore, to alleviate the loss instability and imbalance introduced by the Chebyshev polynomial basis, we externally incorporate a Residual Gradient Attention (RGA) mechanism that dynamically re-weights individual loss terms according to their gradient norms and residual magnitudes. By jointly leveraging internal and external attention, we present AC-PKAN, a novel architecture that constitutes an enhancement to weakly supervised Physics-Informed Neural Networks (PINNs) and extends the expressive power of KANs. Experimental results from nine benchmark tasks across three domains show that AC-PKAN consistently outperforms or matches state-of-the-art models such as PINNsFormer, establishing it as a highly effective tool for solving complex real-world engineering problems in zero-data or data-sparse regimes. The code will be made publicly available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google