Phys4DGen: A Physics-Driven Framework for Controllable and Efficient 4D Content Generation from a Single Image

要約

4D コンテンツ生成のタスクには、画像などの特定の入力条件に応じて時間の経過とともに進化する動的な 3D モデルの作成が含まれます。
既存の手法は、4D コンテンツのダイナミクスをガイドするために事前にトレーニングされたビデオ拡散モデルに大きく依存していますが、ビデオ拡散モデルには現実世界の物理学の確実な理解が欠けているため、これらのアプローチでは重要な物理原理を捉えることができないことがよくあります。
さらに、これらのモデルはダイナミクスをきめ細かく制御するという課題に直面しており、計算コストが高くなります。
この研究では、強化された制御機能を備えた単一の画像から物理学に準拠した 4D コンテンツを生成する、新しい高効率フレームワークである Phys4DGen を提案します。
私たちのアプローチは物理シミュレーションを 4D 生成パイプラインに独自に統合し、基本的な物理法則の遵守を保証します。
物理的特性を視覚的に推測する人間の能力にヒントを得て、入力画像から 3D オブジェクトの材料特性と構造コンポーネントを識別する物理認識モジュール (PPM) を導入し、正確な下流シミュレーションを容易にします。
Phys4DGen は、ダイナミクス モデリング段階での反復的な最適化ステップを排除することで、4D 生成プロセスを大幅に加速します。
これにより、ユーザーは外力を調整することで生成された 4D コンテンツの移動速度と方向を直感的に制御でき、微調整可能で物理的に妥当なアニメーションを実現できます。
広範な評価により、Phys4DGen は推論速度と物理的リアリズムの両方において既存の方法よりも優れており、高品質で制御可能な 4D コンテンツを生成できることが示されています。
私たちのプロジェクト ページは、リンク \url{https://jiajinglin.github.io/Phys4DGen/} からアクセスできます。

要約(オリジナル)

The task of 4D content generation involves creating dynamic 3D models that evolve over time in response to specific input conditions, such as images. Existing methods rely heavily on pre-trained video diffusion models to guide 4D content dynamics, but these approaches often fail to capture essential physical principles, as video diffusion models lack a robust understanding of real-world physics. Moreover, these models face challenges in providing fine-grained control over dynamics and exhibit high computational costs. In this work, we propose Phys4DGen, a novel, high-efficiency framework that generates physics-compliant 4D content from a single image with enhanced control capabilities. Our approach uniquely integrates physical simulations into the 4D generation pipeline, ensuring adherence to fundamental physical laws. Inspired by the human ability to infer physical properties visually, we introduce a Physical Perception Module (PPM) that discerns the material properties and structural components of the 3D object from the input image, facilitating accurate downstream simulations. Phys4DGen significantly accelerates the 4D generation process by eliminating iterative optimization steps in the dynamics modeling phase. It allows users to intuitively control the movement speed and direction of generated 4D content by adjusting external forces, achieving finely tunable, physically plausible animations. Extensive evaluations show that Phys4DGen outperforms existing methods in both inference speed and physical realism, producing high-quality, controllable 4D content. Our project page is available at the link: \url{https://jiajinglin.github.io/Phys4DGen/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google