MixFunn: A Neural Network for Differential Equations with Improved Generalization and Interpretability

要約

精度、解釈可能性、一般化能力の向上を伴う微分​​方程式を解くように設計された新しいニューラルネットワークアーキテクチャであるMixFunnを紹介します。
アーキテクチャは、2つの重要なコンポーネントで構成されています。複数のパラメーター化された非線形関数を統合して表現柔軟性を向上させる混合機能ニューロンと、入力の線形変換と入力変数の相互変換をキャプチャする2次ニューロンです。
これらの機能は、ネットワークの表現力を大幅に向上させ、従来のアプローチと比較して劇的に少ないパラメーターと最大4桁の縮小で同等または優れた結果を達成できるようにします。
物理学に基づいた設定でMixFunnを適用して、古典的なメカニック、量子力学、流体のダイナミクスの微分方程式を解き、標準的な機械学習モデルと比較してトレーニングドメイン以外の領域へのより高い精度を達成し、一般化を改善する上でその有効性を実証しました。
さらに、アーキテクチャは解釈可能な分析表現の抽出を促進し、基礎となるソリューションに対する貴重な洞察を提供します。

要約(オリジナル)

We introduce MixFunn, a novel neural network architecture designed to solve differential equations with enhanced precision, interpretability, and generalization capability. The architecture comprises two key components: the mixed-function neuron, which integrates multiple parameterized nonlinear functions to improve representational flexibility, and the second-order neuron, which combines a linear transformation of its inputs with a quadratic term to capture cross-combinations of input variables. These features significantly enhance the expressive power of the network, enabling it to achieve comparable or superior results with drastically fewer parameters and a reduction of up to four orders of magnitude compared to conventional approaches. We applied MixFunn in a physics-informed setting to solve differential equations in classical mechanics, quantum mechanics, and fluid dynamics, demonstrating its effectiveness in achieving higher accuracy and improved generalization to regions outside the training domain relative to standard machine learning models. Furthermore, the architecture facilitates the extraction of interpretable analytical expressions, offering valuable insights into the underlying solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google