FluidNexus: 3D Fluid Reconstruction and Prediction from a Single Video

要約

単一のビデオからの3D流体の外観と速度の再構築と予測を研究します。
現在の方法では、流体再建のためのマルチビュービデオが必要です。
このタスクに取り組むためにビデオ生成と物理シミュレーションを橋渡しする新しいフレームワークであるFluidNexusを提示します。
私たちの重要な洞察は、再構築の参照として複数の斬新なビデオビデオを統合することです。
fluidNexusは、2つの重要なコンポーネントで構成されています。（1）フレームワイズビューの合成と、現実的なビデオを生成するためのビデオ拡散洗練を組み合わせた斬新なビデオシンセサイザー、および（2）物理学的統合された粒子表現は、差別化可能なシミュレーションと、3D流体の再構築と予測を同時に促進するためのレンダリングを組み合わせます。
アプローチを評価するために、テクスチャの背景とオブジェクトの相互作用を備えた2つの新しい実際の流体データセットを収集します。
私たちの方法により、単一の流体ビデオからの動的な新規ビューの合成、将来の予測、および相互作用シミュレーションが可能になります。
プロジェクトWebサイト：https：//yuegao.me/fluidnexus。

要約(オリジナル)

We study reconstructing and predicting 3D fluid appearance and velocity from a single video. Current methods require multi-view videos for fluid reconstruction. We present FluidNexus, a novel framework that bridges video generation and physics simulation to tackle this task. Our key insight is to synthesize multiple novel-view videos as references for reconstruction. FluidNexus consists of two key components: (1) a novel-view video synthesizer that combines frame-wise view synthesis with video diffusion refinement for generating realistic videos, and (2) a physics-integrated particle representation coupling differentiable simulation and rendering to simultaneously facilitate 3D fluid reconstruction and prediction. To evaluate our approach, we collect two new real-world fluid datasets featuring textured backgrounds and object interactions. Our method enables dynamic novel view synthesis, future prediction, and interaction simulation from a single fluid video. Project website: https://yuegao.me/FluidNexus.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google