PDEBENCH: An Extensive Benchmark for Scientific Machine Learning

要約

近年、機械学習ベースの物理システムのモデリングへの関心が高まっています。
いくつかの目覚ましい進歩にもかかわらず、使いやすいものの依然として挑戦的であり、幅広い問題を代表する、Scientific ML のベンチマークがまだ不足しています。
偏微分方程式 (PDE) に基づく時間依存シミュレーション タスクのベンチマーク スイートである PDEBench を紹介します。
PDEBench は、古典的な数値シミュレーションと機械学習ベースラインの両方に対して新しい機械学習モデルのパフォーマンスをベンチマークするためのコードとデータの両方で構成されています。
私たちが提案する一連のベンチマーク問題は、次のような独自の機能を備えています。(1) 既存のベンチマークと比較して、比較的一般的な例からより現実的で難しい問題まで、広範囲にわたる偏微分方程式。
(2) 以前の研究と比較して、すぐに使用できるデータセットがはるかに大きくなり、多数の初期条件、境界条件、PDE パラメーターにわたる複数のシミュレーション実行で構成されます。
(3) 一般的な機械学習モデル (FNO、U-Net、PINN、勾配ベースの逆法) によるデータ生成とベースライン結果のためのユーザーフレンドリーな API を備えた、より拡張可能なソース コード。
PDEBench を使用すると、研究者は標準化された API を使用して独自の目的に合わせてベンチマークを自由に拡張し、新しいモデルのパフォーマンスを既存のベースライン手法と比較できます。
また、Scientific ML の文脈における学習方法をより包括的に理解することを目的として、新しい評価指標を提案します。
これらの指標を使用して、最近の ML 手法にとって困難なタスクを特定し、これらのタスクをコミュニティの将来の課題として提案します。
コードは https://github.com/pdebench/PDEBench で入手できます。

要約(オリジナル)

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google