PDE-Refiner: Achieving Accurate Long Rollouts with Neural PDE Solvers

要約

時間依存偏微分方程式 (PDE) は、科学と工学の分野で広く普及しています。
最近、主に従来のソリューション技術の高い計算コストが原因で、ディープ ニューラル ネットワーク ベースのサロゲートへの関心が高まっています。
このようなニューラル PDE ソルバーの実用性は、長期にわたって正確で安定した予測を提供できるかどうかにかかっていますが、これは悪名高い難しい問題です。
この研究では、一般的な時間ロールアウト戦略の大規模な分析を示し、PDE ソリューションの高周波に関連付けられることが多い非支配的な空間周波数情報の無視が、安定した正確なロールアウト パフォーマンスを制限する主な落とし穴であることを特定しました。
これらの洞察に基づいて、私たちは普及モデルの最近の進歩からインスピレーションを得て、PDE-Refiner を導入しました。
複数段階の改良プロセスを通じて、すべての周波数成分のより正確なモデリングを可能にする新しいモデル クラス。
私たちは、複雑な流体力学の困難なベンチマークで PDE-Refiner を検証し、ニューラル、数値、および神経数値ハイブリッド アーキテクチャを含む最先端のモデルを常に上回る安定した正確なロールアウトを実証します。
さらに、ノイズ除去の目的が新しい形式のスペクトル データ拡張を暗黙的に誘導するため、PDE-Refiner がデータ効率を大幅に向上させることを実証します。
最後に、PDE-Refiner を拡散モデルに接続すると、モデルの予測不確実性を正確かつ効率的に評価できるようになり、サロゲートがいつ不正確になるかを推定できるようになります。

要約(オリジナル)

Time-dependent partial differential equations (PDEs) are ubiquitous in science and engineering. Recently, mostly due to the high computational cost of traditional solution techniques, deep neural network based surrogates have gained increased interest. The practical utility of such neural PDE solvers relies on their ability to provide accurate, stable predictions over long time horizons, which is a notoriously hard problem. In this work, we present a large-scale analysis of common temporal rollout strategies, identifying the neglect of non-dominant spatial frequency information, often associated with high frequencies in PDE solutions, as the primary pitfall limiting stable, accurate rollout performance. Based on these insights, we draw inspiration from recent advances in diffusion models to introduce PDE-Refiner; a novel model class that enables more accurate modeling of all frequency components via a multistep refinement process. We validate PDE-Refiner on challenging benchmarks of complex fluid dynamics, demonstrating stable and accurate rollouts that consistently outperform state-of-the-art models, including neural, numerical, and hybrid neural-numerical architectures. We further demonstrate that PDE-Refiner greatly enhances data efficiency, since the denoising objective implicitly induces a novel form of spectral data augmentation. Finally, PDE-Refiner’s connection to diffusion models enables an accurate and efficient assessment of the model’s predictive uncertainty, allowing us to estimate when the surrogate becomes inaccurate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google