In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD

要約

近年、流体力学計算を容易にする機械学習 (ML) の応用が数多く成功しています。
シミュレーションが増大するにつれて、従来のオフライン学習用に新しいトレーニング データセットを生成すると、I/O とストレージのボトルネックが生じます。
さらに、実行時に推論を実行するには、ML フレームワーク ライブラリとシミュレーション コードを簡単に結合する必要があります。
この研究では、この結合を簡素化し、異種クラスター上での in situ トレーニングと推論ワークフローを可能にすることで、両方の制限に対する解決策を提供します。
SmartSim を活用して、提示されたフレームワークはデータベースをデプロイしてデータと ML モデルをメモリに保存し、ファイル システムを回避します。
Polaris スーパーコンピューターでは、データベースの新しい同じ場所に配置されたおかげで、データ転送と推論コストのフルマシン サイズに対して完璧なスケーリング効率を実証しました。
さらに、乱流シミュレーションからオートエンコーダーをその場でトレーニングし、フレームワークのオーバーヘッドがソルバーのタイム ステップとトレーニング エポックに比べて無視できることを示しています。

要約(オリジナル)

Recent years have seen many successful applications of machine learning (ML) to facilitate fluid dynamic computations. As simulations grow, generating new training datasets for traditional offline learning creates I/O and storage bottlenecks. Additionally, performing inference at runtime requires non-trivial coupling of ML framework libraries with simulation codes. This work offers a solution to both limitations by simplifying this coupling and enabling in situ training and inference workflows on heterogeneous clusters. Leveraging SmartSim, the presented framework deploys a database to store data and ML models in memory, thus circumventing the file system. On the Polaris supercomputer, we demonstrate perfect scaling efficiency to the full machine size of the data transfer and inference costs thanks to a novel co-located deployment of the database. Moreover, we train an autoencoder in situ from a turbulent flow simulation, showing that the framework overhead is negligible relative to a solver time step and training epoch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google