Data-Efficient Inference of Neural Fluid Fields via SciML Foundation Model

要約

3D ビジョンの最近の発展により、神経流体場の推論と流体力学の現実的なレンダリングが成功裏に進歩しました。
ただし、これらの方法には現実世界のフロー キャプチャが必要であり、高密度のビデオ シーケンスと特殊なラボ設定が必要となるため、プロセスが高価で困難になります。
偏微分方程式 (PDE) の広範なシミュレーションで事前トレーニングされた科学機械学習 (SciML) 基礎モデルは、豊富な複合物理知識をエンコードしているため、流体場を推論するための領域事前分布の有望なソースを提供します。
それにもかかわらず、現実世界の視覚問題を前進させる可能性は依然としてほとんど解明されておらず、これらの基礎モデルの移転可能性と実用性について疑問が生じています。
この研究では、SciML 基礎モデルが一般化を改善し、現実世界の 3D 流体力学を推論するデータ効率を大幅に向上できることを実証します。
私たちのメソッドの中核は、SciML 基礎モデルの強力な予測機能と意味のある表現を活用することです。
私たちは、基礎モデルによって抽出された拡張ビューと流体特徴を利用する、新しい共同トレーニング アプローチを神経流体フィールドに装備します。
私たちの手法は、定量的メトリクスと視覚的品質の両方で大幅な改善を示し、現実世界の流体力学における SciML 基礎モデルの実用的な適用可能性を示しています。

要約(オリジナル)

Recent developments in 3D vision have enabled successful progress in inferring neural fluid fields and realistic rendering of fluid dynamics. However, these methods require real-world flow captures, which demand dense video sequences and specialized lab setups, making the process costly and challenging. Scientific machine learning (SciML) foundation models, which are pretrained on extensive simulations of partial differential equations (PDEs), encode rich multiphysics knowledge and thus provide promising sources of domain priors for inferring fluid fields. Nevertheless, their potential to advance real-world vision problems remains largely underexplored, raising questions about the transferability and practical utility of these foundation models. In this work, we demonstrate that SciML foundation model can significantly improve the data efficiency of inferring real-world 3D fluid dynamics with improved generalization. At the core of our method is leveraging the strong forecasting capabilities and meaningful representations of SciML foundation models. We equip neural fluid fields with a novel collaborative training approach that utilizes augmented views and fluid features extracted by our foundation model. Our method demonstrates significant improvements in both quantitative metrics and visual quality, showcasing the practical applicability of SciML foundation models in real-world fluid dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google