PDEBENCH: An Extensive Benchmark for Scientific Machine Learning

要約

近年、物理システムの機械学習ベースのモデリングに対する関心が高まっています。
目覚ましい進歩にもかかわらず、Scientific ML には、使いやすく、挑戦的で幅広い問題を代表するベンチマークがまだありません。
PDEBench は、偏微分方程式 (PDE) に基づく時間依存シミュレーション タスクのベンチマーク スイートです。
PDEBench は、従来の数値シミュレーションと機械学習ベースラインの両方に対して、新しい機械学習モデルのパフォーマンスをベンチマークするためのコードとデータの両方で構成されています。
私たちが提案する一連のベンチマーク問題は、以下のユニークな機能に貢献します。
(2) 以前の作業と比較して、すぐに使用できるはるかに大規模なデータセット。多数の初期条件、境界条件、および PDE パラメーターにまたがる複数のシミュレーション実行で構成されます。
(3) 一般的な機械学習モデル (FNO、U-Net、PINN、Gradient-Based Inverse Method) を使用したデータ生成とベースライン結果のための使いやすい API を備えた、より拡張可能なソース コード。
PDEBench を使用すると、研究者は標準化された API を使用して独自の目的のためにベンチマークを自由に拡張し、新しいモデルのパフォーマンスを既存のベースライン メソッドと比較できます。
また、Scientific ML のコンテキストで学習方法をより全体的に理解することを目的として、新しい評価指標を提案します。
これらのメトリクスを使用して、最近の ML メソッドにとって困難なタスクを特定し、これらのタスクをコミュニティの将来の課題として提案します。
コードは https://github.com/pdebench/PDEBench で入手できます。

要約(オリジナル)

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google