Scalable Mechanistic Neural Networks for Differential Equations and Machine Learning

要約

スケーラブルな機械的ニューラルネットワーク（S-MNN）を提案します。これは、長い時間シーケンスを含む科学機械学習アプリケーション向けに設計された強化されたニューラルネットワークフレームワークです。
元の機械的ニューラルネットワーク（MNN）（Pervez et al。、2024）を再定式化することにより、それぞれシーケンスの長さに対して、立方および二次から線形までの計算時間と空間の複雑さを減らします。
この大幅な改善により、精度や解釈可能性を犠牲にすることなく、長期的なダイナミクスの効率的なモデリングが可能になります。
広範な実験では、S-MNNが元のMNNと精度を一致させながら、計算リソースを大幅に削減することが示されています。
その結果、S-MNNはアプリケーションで元のMNNをドロップインすることができ、機械的なボトルネックを複雑な動的システムのニューラルネットワークモデルに統合するための実用的で効率的なツールを提供します。
ソースコードは、https：//github.com/ist-daslab/scalablemnnで入手できます。

要約(オリジナル)

We propose Scalable Mechanistic Neural Network (S-MNN), an enhanced neural network framework designed for scientific machine learning applications involving long temporal sequences. By reformulating the original Mechanistic Neural Network (MNN) (Pervez et al., 2024), we reduce the computational time and space complexities from cubic and quadratic with respect to the sequence length, respectively, to linear. This significant improvement enables efficient modeling of long-term dynamics without sacrificing accuracy or interpretability. Extensive experiments demonstrate that S-MNN matches the original MNN in precision while substantially reducing computational resources. Consequently, S-MNN can drop-in replace the original MNN in applications, providing a practical and efficient tool for integrating mechanistic bottlenecks into neural network models of complex dynamical systems. Source code is available at https://github.com/IST-DASLab/ScalableMNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google