Feasibility Study on Active Learning of Smart Surrogates for Scientific Simulations

要約

複雑なシステムを理解するために重要な高性能科学シミュレーションは、特に広範なパラメーター空間を探索する場合に計算上の課題に直面します。
シミュレーションを高速化できる代理モデルとしてディープ ニューラル ネットワーク (DNN) の開発への関心が高まっています。
しかし、これらの DNN サロゲートをトレーニングするための既存のアプローチは、ヒューリスティックに選択され、高価な計算を使用して生成される広範なシミュレーション データに依存しています。この課題は文献では十分に検討されていません。
この論文では、アクティブ ラーニングを DNN サロゲート トレーニングに組み込む可能性を調査します。
これにより、トレーニング シミュレーションのインテリジェントかつ客観的な選択が可能になり、大規模なシミュレーション データを生成する必要性が減り、事前定義されたトレーニング シミュレーションに対する DNN サロゲートのパフォーマンスの依存性が軽減されます。
ソースを使用した拡散方程式の DNN サロゲートを構築するという問題のコンテキストにおいて、2 つの異なる DNN アーキテクチャを考慮して、トレーニング シミュレーションを選択するための多様性と不確実性に基づく戦略の有効性を検証します。
この結果は、科学シミュレーションの効率を潜在的に向上させるアクティブ ラーニング戦略によって制御されるシミュレーション データのオンザフライ生成をサポートする、スマート サロゲート用の高性能コンピューティング インフラストラクチャを開発するための基礎を確立します。

要約(オリジナル)

High-performance scientific simulations, important for comprehension of complex systems, encounter computational challenges especially when exploring extensive parameter spaces. There has been an increasing interest in developing deep neural networks (DNNs) as surrogate models capable of accelerating the simulations. However, existing approaches for training these DNN surrogates rely on extensive simulation data which are heuristically selected and generated with expensive computation — a challenge under-explored in the literature. In this paper, we investigate the potential of incorporating active learning into DNN surrogate training. This allows intelligent and objective selection of training simulations, reducing the need to generate extensive simulation data as well as the dependency of the performance of DNN surrogates on pre-defined training simulations. In the problem context of constructing DNN surrogates for diffusion equations with sources, we examine the efficacy of diversity- and uncertainty-based strategies for selecting training simulations, considering two different DNN architecture. The results set the groundwork for developing the high-performance computing infrastructure for Smart Surrogates that supports on-the-fly generation of simulation data steered by active learning strategies to potentially improve the efficiency of scientific simulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google