Neural Tangent Kernel Analysis to Probe Convergence in Physics-informed Neural Solvers: PIKANs vs. PINNs

要約

物理学に基づいたコルモゴロフ・アーノルドネットワーク（ピカン）、特にチェビシェフベースのバリアント（CPIKANS）は、最近、部分微分方程式（PDE）を解くための有望なモデルとして浮上しています。
しかし、彼らのトレーニングのダイナミクスと収束行動は、理論的にも数値的にもほとんど未踏のままです。
この作業では、神経接線カーネル（NTK）理論を使用してCpikansを分析することにより、Cpikansの理論的理解を進めることを目指しています。
私たちの目的は、グラデーションベースのトレーニング全体のカーネル構造の進化と、その後の学習効率への影響を識別することです。
まず、標準的なCKANのNTKを監視付きの設定で導き出し、次に分析を物理学に基づいたコンテキストに拡張します。
4つの代表的なPDEのNTKマトリックス、特に固有値分布とスペクトルバイアスのスペクトル特性を分析します。
また、NTKの進化と結果として生じる学習ダイナミクスについて、さまざまな最適化戦略、例えば、一次、二次的、ハイブリッドアプローチの影響について調査を実施します。
結果は、CPIKANSの文脈におけるNTKの扱いやすい行動を示しています。これは、標準的な物理学に基づいたニューラルネットワーク（PINN）がキャプチャできない学習ダイナミクスを明らかにします。
スペクトルの傾向は、ドメイン分解がトレーニングを改善するときにも明らかになり、カーネルの動作をさまざまなセットアップの下で収束速度に直接リンクします。
私たちの知る限り、これはCpikansの最初の体系的なNTK研究であり、経験的パフォーマンスを明確にし、予測する理論的洞察を提供します。

要約(オリジナル)

Physics-informed Kolmogorov-Arnold Networks (PIKANs), and in particular their Chebyshev-based variants (cPIKANs), have recently emerged as promising models for solving partial differential equations (PDEs). However, their training dynamics and convergence behavior remain largely unexplored both theoretically and numerically. In this work, we aim to advance the theoretical understanding of cPIKANs by analyzing them using Neural Tangent Kernel (NTK) theory. Our objective is to discern the evolution of kernel structure throughout gradient-based training and its subsequent impact on learning efficiency. We first derive the NTK of standard cKANs in a supervised setting, and then extend the analysis to the physics-informed context. We analyze the spectral properties of NTK matrices, specifically their eigenvalue distributions and spectral bias, for four representative PDEs: the steady-state Helmholtz equation, transient diffusion and Allen-Cahn equations, and forced vibrations governed by the Euler-Bernoulli beam equation. We also conduct an investigation into the impact of various optimization strategies, e.g., first-order, second-order, and hybrid approaches, on the evolution of the NTK and the resulting learning dynamics. Results indicate a tractable behavior for NTK in the context of cPIKANs, which exposes learning dynamics that standard physics-informed neural networks (PINNs) cannot capture. Spectral trends also reveal when domain decomposition improves training, directly linking kernel behavior to convergence rates under different setups. To the best of our knowledge, this is the first systematic NTK study of cPIKANs, providing theoretical insight that clarifies and predicts their empirical performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google