Attention-enhanced neural differential equations for physics-informed deep learning of ion transport

要約

種の輸送モデルは通常、偏微分方程式 (PDE) と障害輸送理論の関係を組み合わせて、複雑なナノ多孔質システムを通るエレクトロマイグレーション、対流、および拡散輸送を定量化します。
ただし、これらの定式化は支配ダイナミクスを大幅に単純化することが多く、PDE ベースのモデルの一般化パフォーマンスの低下につながります。
物理科学における深層学習手法への関心の高まりを考慮して、ナノ多孔質膜を通過するイオン輸送を特徴付けるための機械学習ベースのアプローチを開発します。
私たちが提案するフレームワークは、従来の PDE ベースの手法と比べて汎化性能を向上させるために、電気的中立性に基づく帰納バイアスを組み込んだ注意強化ニューラル微分方程式を中心としています。
さらに、さまざまな混合組成にわたる物理的に意味のあるイオン対関係を明らかにする際の注意メカニズムの役割を研究します。
さらに、PDE ベースのモデルからのシミュレートされたデータに対する事前トレーニングの重要性と、ハード誘導バイアスとソフト誘導バイアスによるパフォーマンスの利点を調査します。
私たちの結果は、物理学に基づいた深層学習ソリューションが従来の PDE ベースのソリューションよりも優れたパフォーマンスを発揮し、さまざまなアプリケーションにわたる複雑な輸送現象をモデル化するための有望な手段を提供できることを示しています。

要約(オリジナル)

Species transport models typically combine partial differential equations (PDEs) with relations from hindered transport theory to quantify electromigrative, convective, and diffusive transport through complex nanoporous systems; however, these formulations are frequently substantial simplifications of the governing dynamics, leading to the poor generalization performance of PDE-based models. Given the growing interest in deep learning methods for the physical sciences, we develop a machine learning-based approach to characterize ion transport across nanoporous membranes. Our proposed framework centers around attention-enhanced neural differential equations that incorporate electroneutrality-based inductive biases to improve generalization performance relative to conventional PDE-based methods. In addition, we study the role of the attention mechanism in illuminating physically-meaningful ion-pairing relationships across diverse mixture compositions. Further, we investigate the importance of pre-training on simulated data from PDE-based models, as well as the performance benefits from hard vs. soft inductive biases. Our results indicate that physics-informed deep learning solutions can outperform their classical PDE-based counterparts and provide promising avenues for modelling complex transport phenomena across diverse applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google