Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion

要約

近年、3D 生成モデルの開発が急速に進み、3D オブジェクトの動的な動きのシミュレーションやその動作のカスタマイズなど、アプリケーションの新たな可能性が開かれています。
ただし、現在の 3D 生成モデルは、色や形状などの表面の特徴のみに焦点を当て、現実世界のオブジェクトの動作を支配する固有の物理的特性を無視する傾向があります。
物理に合わせたダイナミクスを正確にシミュレートするには、材料の物理的特性を予測し、それを挙動予測プロセスに組み込むことが不可欠です。
それにもかかわらず、物理的属性の複雑な性質により、現実世界の物体の多様な材質を予測することは依然として困難です。
この論文では、ビデオ拡散モデルを通じて 3D オブジェクトのさまざまな物理的特性を学習するための新しい方法である \textbf{Physics3D} を提案します。
私たちのアプローチには、粘弾性材料モデルに基づいた高度に一般化可能な物理シミュレーション システムの設計が含まれており、これにより、高忠実度の機能で広範囲の材料をシミュレーションできるようになります。
さらに、現実的なオブジェクトのマテリアルをより深く理解できるビデオ拡散モデルから物理的な事前分布を抽出します。
広範な実験により、弾性材料とプラスチック材料の両方に対する私たちの方法の有効性が実証されています。
Physics3D は、物理世界と仮想神経空間の間のギャップを埋める大きな可能性を示し、仮想環境における現実的な物理原理のより適切な統合と適用を提供します。
プロジェクトページ: https://liuff19.github.io/Physics3D。

要約(オリジナル)

In recent years, there has been rapid development in 3D generation models, opening up new possibilities for applications such as simulating the dynamic movements of 3D objects and customizing their behaviors. However, current 3D generative models tend to focus only on surface features such as color and shape, neglecting the inherent physical properties that govern the behavior of objects in the real world. To accurately simulate physics-aligned dynamics, it is essential to predict the physical properties of materials and incorporate them into the behavior prediction process. Nonetheless, predicting the diverse materials of real-world objects is still challenging due to the complex nature of their physical attributes. In this paper, we propose \textbf{Physics3D}, a novel method for learning various physical properties of 3D objects through a video diffusion model. Our approach involves designing a highly generalizable physical simulation system based on a viscoelastic material model, which enables us to simulate a wide range of materials with high-fidelity capabilities. Moreover, we distill the physical priors from a video diffusion model that contains more understanding of realistic object materials. Extensive experiments demonstrate the effectiveness of our method with both elastic and plastic materials. Physics3D shows great potential for bridging the gap between the physical world and virtual neural space, providing a better integration and application of realistic physical principles in virtual environments. Project page: https://liuff19.github.io/Physics3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google