Unleashing the Potential of Multi-modal Foundation Models and Video Diffusion for 4D Dynamic Physical Scene Simulation

要約

動的シーンのリアルなシミュレーションには、さまざまなマテリアル特性を正確にキャプチャし、物理原理に基づいて複雑なオブジェクトの相互作用をモデル化する必要があります。
ただし、既存の手法は、予測可能なパラメーターが限られた基本的なマテリアル タイプに制限されているため、現実世界のマテリアルの複雑さを表現するには不十分です。
マルチモーダル基礎モデルとビデオ拡散を活用して、強化された 4D ダイナミック シーン シミュレーションを実現する新しいアプローチを紹介します。
私たちの手法では、マルチモーダル モデルを利用して、画像クエリを通じてマテリアル タイプを識別し、マテリアル パラメータを初期化すると同時に、詳細なシーン表現のために 3D ガウス スプラットを推論します。
レンダリング損失やスコア蒸留サンプリング (SDS) 損失ではなく、微分可能なマテリアル ポイント法 (MPM) とオプティカル フロー ガイダンスを備えたビデオ拡散を使用して、これらのマテリアル パラメータをさらに調整します。
この統合フレームワークにより、現実世界のシナリオにおける動的相互作用の正確な予測と現実的なシミュレーションが可能になり、物理ベースのシミュレーションの精度と柔軟性の両方が向上します。

要約(オリジナル)

Realistic simulation of dynamic scenes requires accurately capturing diverse material properties and modeling complex object interactions grounded in physical principles. However, existing methods are constrained to basic material types with limited predictable parameters, making them insufficient to represent the complexity of real-world materials. We introduce a novel approach that leverages multi-modal foundation models and video diffusion to achieve enhanced 4D dynamic scene simulation. Our method utilizes multi-modal models to identify material types and initialize material parameters through image queries, while simultaneously inferring 3D Gaussian splats for detailed scene representation. We further refine these material parameters using video diffusion with a differentiable Material Point Method (MPM) and optical flow guidance rather than render loss or Score Distillation Sampling (SDS) loss. This integrated framework enables accurate prediction and realistic simulation of dynamic interactions in real-world scenarios, advancing both accuracy and flexibility in physics-based simulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google