DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors

要約

最近、ダイナミックな 3D インタラクションが大きな注目を集めています。
ただし、このような 4D コンテンツの作成は依然として困難です。
解決策の 1 つは、物理ベースのシミュレーションを使用して 3D シーンをアニメーション化することです。これには、オブジェクトに正確な物理的プロパティを手動で割り当てる必要があり、そうしないと、シミュレーション結果が不自然になってしまいます。
別の解決策は、ビデオ生成モデルの蒸留によって 3D オブジェクトの変形を学習することですが、これでは不適切な物理事前抽出と適用により、小さく不連続な動きを持つ 3D ビデオが生成される傾向があります。
この研究では、上記 2 つのソリューションの長所と補完的な欠点を組み合わせて、ビデオ拡散事前分布を使用して材料フィールドの物理的特性を学習し、物理ベースの材料点法 (MPM) シミュレータを利用して、
リアルな動きの4Dコンテンツ。
特に、抽出中にビデオの動き情報を強調するために、動き抽出サンプリングを提案します。
さらに、最適化を容易にするために、フレーム ブースティングを備えた KAN ベースのマテリアル フィールドをさらに提案します。
実験結果は、私たちの方法が最先端のものよりも現実的な動きを享受できることを示しています。
コードは https://github.com/tyhuang0428/DreamPhysics でリリースされています。

要約(オリジナル)

Dynamic 3D interaction has been attracting a lot of attention recently. However, creating such 4D content remains challenging. One solution is to animate 3D scenes with physics-based simulation, which requires manually assigning precise physical properties to the object or the simulated results would become unnatural. Another solution is to learn the deformation of 3D objects with the distillation of video generative models, which, however, tends to produce 3D videos with small and discontinuous motions due to the inappropriate extraction and application of physical prior. In this work, combining the strengths and complementing shortcomings of the above two solutions, we propose to learn the physical properties of a material field with video diffusion priors, and then utilize a physics-based Material-Point-Method (MPM) simulator to generate 4D content with realistic motions. In particular, we propose motion distillation sampling to emphasize video motion information during distillation. Moreover, to facilitate the optimization, we further propose a KAN-based material field with frame boosting. Experimental results demonstrate that our method enjoys more realistic motion than state-of-the-arts. Codes are released at: https://github.com/tyhuang0428/DreamPhysics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google