SineNet: Learning Temporal Dynamics in Time-Dependent Partial Differential Equations

要約

私たちは、ディープ ニューラル ネットワークを使用して、時間依存の偏微分方程式 (PDE) を解くことを検討します。この場合、マルチスケール処理は、複雑な時間発展するダイナミクスをモデル化するために重要です。
スキップ接続を備えた U-Net アーキテクチャは、マルチスケール処理を可能にするために先行研究で一般的に使用されていますが、今回の分析では、レイヤー間で特徴量を進化させる必要があるため、スキップ接続内の特徴量が時間的に不整合になり、それがモデルのパフォーマンスを制限することが示されました。
この制限に対処するために、ウェーブと呼ばれる、連続的に接続された複数の U 字型ネットワーク ブロックで構成される SineNet を提案します。
SineNet では、高解像度機能が複数の段階を通じて段階的に進化するため、各段階での位置ずれの量が減少します。
さらに、マルチスケール情報の並列処理と逐次処理の両方を可能にするスキップ接続の役割を分析します。
私たちの手法は、ナビエ・ストークス方程式や浅海の方程式を含む複数の PDE データセットで厳密にテストされており、同等のパラメーター バジェットを持つ従来の U-Net に比べて、提案されたアプローチの利点が示されています。
さらに、同じ数のパラメーターを維持しながら SineNet の波の数を増やすと、パフォーマンスが単調に向上することを示します。
この結果は、SineNet の有効性と、最先端のニューラル PDE ソルバー設計を進める上での私たちのアプローチの可能性を強調しています。
私たちのコードは AIRS (https://github.com/divelab/AIRS) の一部として利用できます。

要約(オリジナル)

We consider using deep neural networks to solve time-dependent partial differential equations (PDEs), where multi-scale processing is crucial for modeling complex, time-evolving dynamics. While the U-Net architecture with skip connections is commonly used by prior studies to enable multi-scale processing, our analysis shows that the need for features to evolve across layers results in temporally misaligned features in skip connections, which limits the model’s performance. To address this limitation, we propose SineNet, consisting of multiple sequentially connected U-shaped network blocks, referred to as waves. In SineNet, high-resolution features are evolved progressively through multiple stages, thereby reducing the amount of misalignment within each stage. We furthermore analyze the role of skip connections in enabling both parallel and sequential processing of multi-scale information. Our method is rigorously tested on multiple PDE datasets, including the Navier-Stokes equations and shallow water equations, showcasing the advantages of our proposed approach over conventional U-Nets with a comparable parameter budget. We further demonstrate that increasing the number of waves in SineNet while maintaining the same number of parameters leads to a monotonically improved performance. The results highlight the effectiveness of SineNet and the potential of our approach in advancing the state-of-the-art in neural PDE solver design. Our code is available as part of AIRS (https://github.com/divelab/AIRS).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google