Inferring Fluid Dynamics via Inverse Rendering

要約

タイトル：逆レンダリングによる流体力学の推定
要約：

– 人間は、流体が落ちる様子を見るだけで物理プロセスに強い直感的理解を持っている。
– 本研究は、グラウンドトゥルースの流体力学の監視なしに、未注釈のビデオから学習された、写真から流体力学の再構築機能を実現している。
– エンド-トゥ-エンド/一貫性のある異なるEulerシミュレーターでは、ConvNetベースの圧力投影ソルバーがモデル化され、体積レンダラーが統合されている。
– 各サンプルされた点に流体の体積値を与えることで、流体データに専用のNeRFのような異なるレンダラーを派生させ、体積拡張表現により、流体力学はレンダリング結果とグラウンドトゥルースのビデオフレームの誤差信号から逆に推定される。
– 生成されたFluid FallデータセットとDPI Dam Breakデータセットで実験を行い、本方法の有効性と一般的な能力を示している。

要約(オリジナル)

Humans have a strong intuitive understanding of physical processes such as fluid falling by just a glimpse of such a scene picture, i.e., quickly derived from our immersive visual experiences in memory. This work achieves such a photo-to-fluid-dynamics reconstruction functionality learned from unannotated videos, without any supervision of ground-truth fluid dynamics. In a nutshell, a differentiable Euler simulator modeled with a ConvNet-based pressure projection solver, is integrated with a volumetric renderer, supporting end-to-end/coherent differentiable dynamic simulation and rendering. By endowing each sampled point with a fluid volume value, we derive a NeRF-like differentiable renderer dedicated from fluid data; and thanks to this volume-augmented representation, fluid dynamics could be inversely inferred from the error signal between the rendered result and ground-truth video frame (i.e., inverse rendering). Experiments on our generated Fluid Fall datasets and DPI Dam Break dataset are conducted to demonstrate both effectiveness and generalization ability of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI