Inferring Hybrid Neural Fluid Fields from Videos

要約

私たちは、まばらなマルチビュービデオから流体の密度と速度を復元することを研究しています。
既存の神経動的再構成手法は主にオプティカル フローに依存しています。
したがって、流体は多くの場合形状がなく、安定した視覚的特徴がないため、流体速度に固有の視覚的曖昧さにより、密度を正確に推定したり、根底にある速度を解明したりすることはできません。
この課題は、流体の流れの乱流の性質によってさらに顕著になり、適切に設計された流体速度表現が必要になります。
これらの課題に対処するために、流体密度場と速度場を共同で推論するニューラル アプローチであるハイブリッド神経流体場 (HyFluid) を提案します。
具体的には、流体速度の視覚的な曖昧さに対処するために、発散がなく、密度の輸送を促進する物理的に妥当な速度場を強制的に推論する一連の物理ベースの損失を導入します。
流体速度の乱流の性質に対処するために、ほとんどの非回転エネルギーを捕捉する基本神経速度場と残留乱流速度をモデル化する渦粒子ベースの速度を含むハイブリッド神経速度表現を設計します。
私たちの方法により、渦流の詳細を復元できることを示します。
私たちのアプローチは、流体の再シミュレーションと編集、将来予測、ニューラルダイナミックシーン構成など、3D 非圧縮性流れを中心としたさまざまな学習および再構成アプリケーションの可能性を開きます。
プロジェクトウェブサイト：https://kovenyu.com/HyFluid/

要約(オリジナル)

We study recovering fluid density and velocity from sparse multiview videos. Existing neural dynamic reconstruction methods predominantly rely on optical flows; therefore, they cannot accurately estimate the density and uncover the underlying velocity due to the inherent visual ambiguities of fluid velocity, as fluids are often shapeless and lack stable visual features. The challenge is further pronounced by the turbulent nature of fluid flows, which calls for properly designed fluid velocity representations. To address these challenges, we propose hybrid neural fluid fields (HyFluid), a neural approach to jointly infer fluid density and velocity fields. Specifically, to deal with visual ambiguities of fluid velocity, we introduce a set of physics-based losses that enforce inferring a physically plausible velocity field, which is divergence-free and drives the transport of density. To deal with the turbulent nature of fluid velocity, we design a hybrid neural velocity representation that includes a base neural velocity field that captures most irrotational energy and a vortex particle-based velocity that models residual turbulent velocity. We show that our method enables recovering vortical flow details. Our approach opens up possibilities for various learning and reconstruction applications centered around 3D incompressible flow, including fluid re-simulation and editing, future prediction, and neural dynamic scene composition. Project website: https://kovenyu.com/HyFluid/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google